FedEMA‑Distill: EMA‑basierte Knowledge‑Distillation stärkt Federated Learning

Federated Learning (FL) leidet häufig unter heterogenen, nicht‑IID‑Daten und aggressiven Clients, was zu Drift, langsamer Konvergenz und hohem Kommunikationsaufwand führt. Mit FedEMA‑Distill wird dieses Problem serverseitig angegangen: Durch die Kombination eines exponentiellen gleitenden Durchschnitts (EMA) des globalen Modells und ensemble‑basierter Knowledge‑Distillation aus den von den Clients hochgeladenen Logits, die auf einem kleinen öffentlichen Proxy‑Datensatz ausgewertet werden, wird die Robustheit deutlich erhöht.

Die Clients führen weiterhin ihr übliches lokales Training durch und senden lediglich komprimierte Logits an den Server. Da keine Änderungen am Client‑Software‑Stack nötig sind, können unterschiedliche Modellarchitekturen verwendet werden, was die Heterogenität der Geräte unterstützt.

In Experimenten mit CIFAR‑10, CIFAR‑100, FEMNIST und AG News bei einem Dirichlet‑0,1‑Label‑Skew erzielte FedEMA‑Distill signifikante Verbesserungen: bis zu +5 % Top‑1‑Accuracy bei CIFAR‑10 und +6 % bei CIFAR‑100. Zudem erreichte das Verfahren die gewünschte Genauigkeit in 30 – 35 % weniger Kommunikationsrunden und reduzierte die pro Runde benötigte Uplink‑Payload auf lediglich 0,09 – 0,46 MB – ein Faktor von ungefähr zehn im Vergleich zum vollständigen Modell‑Upload.

Durch die Verwendung von koordinatenweise Median‑ oder Trim‑Mean‑Aggregation der Logits auf dem Server wird die Stabilität weiter erhöht, selbst wenn bis zu 10 – 20 % der Clients byzantinisch agieren. Die daraus resultierenden Vorhersagen bleiben gut kalibriert, auch unter Angriffen.

Die Ergebnisse zeigen, dass die Kombination aus zeitlicher Glättung und Logits‑nur‑Aggregation einen kommunikations‑effizienten und angreifungsresistenten FL‑Pipeline ermöglicht, die sich ohne Änderungen an den Clients leicht in bestehende Systeme integrieren lässt.