meineki.news Logo
meineki.news
KI News: Kurz und klar.
Anmelden

Effiziente Federated Learning: Gradient-Projektion reduziert Kommunikation drastisch

arXiv – cs.LG • • Original • ≈1 Min. Lesezeit
#Föderiertes Lernen #ProjFL #Error-Feedback #Gradientenkompression #Kommunikationskosten #Konvergenzbeweise
Anzeige

Federated Learning (FL) ermöglicht es, Modelle dezentral über mehrere Clients zu trainieren, während die Privatsphäre der Daten gewahrt bleibt. Ein entscheidendes Hindernis bleibt jedoch die Kommunikationskosten, insbesondere bei großen Modellen. In der neuesten Veröffentlichung werden zwei neue Verfahren vorgestellt, die dieses Problem adressieren.

Die Methode ProjFL nutzt unvoreingenommene Kompressoren, während ProjFL+EF speziell für voreingenommene Kompressoren mit einem Error‑Feedback‑Mechanismus entwickelt wurde. Beide Ansätze projizieren lokale Gradienten auf einen gemeinsamen Subraum, der durch historische Abstiegsrichtungen gebildet wird. Dadurch wird die Informationsübertragung zwischen Client und Server stark reduziert, ohne die Genauigkeit zu beeinträchtigen.

Die Autoren liefern Konvergenzbeweise für stark konvexe, konvexe und nicht-konvexe Szenarien und demonstrieren in Experimenten mit Standard‑FL‑Klassifikationsaufgaben, dass ProjFL und ProjFL+EF die gleiche Genauigkeit wie etablierte Baselines erreichen, die Kommunikationskosten jedoch erheblich senken.

Ähnliche Artikel

arXiv – cs.AI •
Federated mit GAF: Genauigkeit bei privatsphärischer ECG‑Klassifikation auf IoT
arXiv – cs.LG •
FedSM: Robust Semantics-Guided Feature Mixup for Bias Reduction in Federated Learning with Long-Tail Data
arXiv – cs.LG •
ParaAegis: Parallel Protection for Flexible Privacy-preserved Federated Learning
arXiv – cs.LG •
Foundational Models and Federated Learning: Survey, Taxonomy, Challenges and Practical Insights
arXiv – cs.LG •
An Efficient Subspace Algorithm for Federated Learning on Heterogeneous Data