Effiziente Federated Learning: Gradient-Projektion reduziert Kommunikation drastisch

Federated Learning (FL) ermöglicht es, Modelle dezentral über mehrere Clients zu trainieren, während die Privatsphäre der Daten gewahrt bleibt. Ein entscheidendes Hindernis bleibt jedoch die Kommunikationskosten, insbesondere bei großen Modellen. In der neuesten Veröffentlichung werden zwei neue Verfahren vorgestellt, die dieses Problem adressieren.

Die Methode ProjFL nutzt unvoreingenommene Kompressoren, während ProjFL+EF speziell für voreingenommene Kompressoren mit einem Error‑Feedback‑Mechanismus entwickelt wurde. Beide Ansätze projizieren lokale Gradienten auf einen gemeinsamen Subraum, der durch historische Abstiegsrichtungen gebildet wird. Dadurch wird die Informationsübertragung zwischen Client und Server stark reduziert, ohne die Genauigkeit zu beeinträchtigen.

Die Autoren liefern Konvergenzbeweise für stark konvexe, konvexe und nicht-konvexe Szenarien und demonstrieren in Experimenten mit Standard‑FL‑Klassifikationsaufgaben, dass ProjFL und ProjFL+EF die gleiche Genauigkeit wie etablierte Baselines erreichen, die Kommunikationskosten jedoch erheblich senken.