Robust Methods for Distributed Learning

This thesis develops robust and efficient aggregation methods for distributed learning and explores their vulnerabilities. Distributed learning paradigms, such as federated and decentralized learning, enable the coordination of models across a collection of agents without the need to exchange raw data. Instead, agents compute model updates locally and share the updated models with a parameter server or their peers, followed by an aggregation step traditionally based on averaging. However, averaging-based schemes are susceptible to outliers, where a single malicious agent can significantly degrade the model's performance. This vulnerability has led to the development of robust aggregation schemes based on variations of the median and trimmed mean, which ensure robustness but at the cost of reduced efficiency.

To address this drawback, efficient and robust aggregation schemes for distributed learning are developed in this thesis. We propose robust and efficient diffusion, a distributed learning framework which combines statistical efficiency with robustness. Additionally, a robust distributed Expectation-Maximization algorithm based on Real Elliptically Symmetric distributions is developed, which is highly adaptive to outliers and incorporates a robust data aggregation step, based on robust and efficient diffusion, to provide robustness against malicious agents. Simulations demonstrate the effectiveness of the proposed algorithms over non-robust methods.

The motivation for studying attacks on robust aggregation schemes in decentralized learning is to understand and mitigate vulnerabilities that can significantly degrade the performance of learning algorithms. By developing and analyzing attack strategies, we can identify weaknesses in existing schemes and design more resilient and secure aggregation methods. This research enhances the robustness, reliability, and trustworthiness of decentralized learning, ensuring data integrity and improving overall security against adversarial scenarios.

By leveraging the sensitivity curve, a classical tool from robust statistics, we systematically derive optimal attack patterns against arbitrary robust aggregators, rendering them ineffective in many cases. The new attack pattern, termed sensitivity curve maximization, disrupts existing robust aggregation schemes by injecting optimal perturbations. This highlights the vulnerability of classical aggregation schemes to malicious agents, leading to the degeneration or breakdown of the learning process. The effectiveness of the proposed attack is demonstrated through multiple simulations.

Overall, this dissertation enhances the robustness and efficiency of aggregation methods in distributed learning while identifying and mitigating vulnerabilities through the development of optimal attack strategies.

Diese Dissertation entwickelt robuste und effiziente Aggregationsmethoden für verteiltes Lernen und untersucht deren Schwachstellen. Verteilte Lernparadigmen wie federated und dezentrales Lernen ermöglichen die Koordination von Modellen über eine Sammlung von Agenten, ohne dass Rohdaten ausgetauscht werden müssen. Stattdessen berechnen die Agenten lokale Modellaktualisierungen und teilen die aktualisierten Modelle mit einem Parameter-Server oder ihren Peers, gefolgt von einem Aggregationsschritt, der traditionell auf Mittelwertbildung basiert. Mittelwertbasierte Verfahren sind jedoch anfällig für Ausreißer, bei denen ein einzelner böswilliger Agent die Leistung des Modells erheblich verschlechtern kann. Diese Schwachstelle hat zur Entwicklung robuster Aggregationsverfahren geführt, die auf Variationen des Medians und des getrimmten Mittels basieren und Robustheit gewährleisten, jedoch auf Kosten einer verringerten Effizienz.

Um dieses Problem zu beheben, werden in dieser Dissertation effiziente und robuste Aggregationsverfahren für verteiltes Lernen entwickelt. Wir schlagen robuste und effiziente Diffusion vor, ein verteiltes Lernframework, das statistische Effizienz mit Robustheit kombiniert. Darüber hinaus wird ein robuster verteilter Erwartungs-Maximierungs-Algorithmus basierend auf reellen elliptischen symmetrischen Verteilungen entwickelt, der hoch anpassungsfähig an Ausreißer ist und einen robusten Datenaggregationsschritt, basierend auf der robusten und effizienten Diffusion, integriert, um Robustheit gegen böswillige Agenten zu gewährleisten. Simulationen zeigen die Wirksamkeit der vorgeschlagenen Algorithmen im Vergleich zu nicht-robusten Methoden.

Die Motivation für die Untersuchung von Angriffen auf robuste Aggregationsverfahren im dezentralen Lernen besteht darin, Schwachstellen zu verstehen und zu mindern, die die Leistung von Lernalgorithmen erheblich beeinträchtigen können. Durch die Entwicklung und Analyse von Angriffsstrategien können wir Schwächen in bestehenden Verfahren identifizieren und widerstandsfähigere und sicherere Aggregationsmethoden entwerfen. Diese Forschung verbessert die Robustheit, Zuverlässigkeit und Vertrauenswürdigkeit des dezentralen Lernens, gewährleistet die Datenintegrität und verbessert die allgemeine Sicherheit gegen feindliche Szenarien.

Durch die Nutzung der Sensitivitätskurve, einem klassischen Werkzeug der robusten Statistik, leiten wir systematisch optimale Angriffsmuster gegen beliebige robuste Aggregatoren ab, die in vielen Fällen unwirksam werden. Das neue Angriffsmuster, genannt Sensitivitätskurvenmaximierung, stört bestehende robuste Aggregationsverfahren durch das Einbringen optimaler Störungen. Dies verdeutlicht die Anfälligkeit klassischer Aggregationsverfahren gegenüber böswilligen Agenten, was zur Degeneration oder zum Zusammenbruch des Lernprozesses führt. Die Wirksamkeit des vorgeschlagenen Angriffs wird durch mehrere Simulationen demonstriert.

Insgesamt verbessert diese Dissertation die Robustheit und Effizienz von Aggregationsmethoden im verteilten Lernen, indem sie Schwachstellen identifiziert und optimale Angriffsstrategien entwickelt.