FedAdaVR: Adaptive Varianzreduktion stärkt Learning eingeschränkter Teilnahme

In der Welt des Federated Learning (FL) stellen Heterogenität, Rauschverhalten der Gradienten, Client‑Drift und vor allem die eingeschränkte Teilnahme der Clients große Herausforderungen dar. Der neue Ansatz FedAdaVR begegnet diesen Problemen, indem er einen adaptiven Optimierer mit einer Varianzreduktion kombiniert. Durch die Nutzung der zuletzt gespeicherten Updates der Clients – selbst wenn diese in der aktuellen Trainingsrunde nicht aktiv sind – simuliert FedAdaVR ihre Anwesenheit und reduziert damit die Fehler, die durch partielle Client‑Teilnahme entstehen.

Ein weiteres Highlight ist FedAdaVR‑Quant, das die Client‑Updates in quantisierter Form speichert. Dadurch sinkt der Speicherbedarf um 50 %, 75 % bzw. 87,5 % im Vergleich zum Original, ohne dass die Modellleistung leidet. Die Autoren haben die Konvergenz von FedAdaVR unter allgemeinen nichtkonvexen Bedingungen analysiert und gezeigt, dass der Algorithmus die Fehler durch eingeschränkte Client‑Teilnahme vollständig eliminiert.

Um die Praxisrelevanz zu prüfen, wurden umfangreiche Experimente an mehreren Datensätzen durchgeführt – sowohl unter IID- als auch unter stark nicht‑IID‑Verteilungen. FedAdaVR übertraf dabei konsequent die führenden Basismethoden und demonstriert damit, dass adaptive Varianzreduktion ein wirkungsvolles Mittel ist, um die Robustheit von Federated Learning in realen, heterogenen Umgebungen zu erhöhen.