Nezentrales Federated Learning: zweite Ordnung verbessert Konvergenz

Dezentrales Federated Learning (DFL) ermöglicht es Geräten, ohne zentralen Server direkt miteinander zu kommunizieren und gemeinsam ein allgemeines Modell zu trainieren. Durch den Austausch von Modellparametern mit benachbarten Geräten entsteht ein kollaboratives Lernnetzwerk, das besonders in verteilten Umgebungen von Vorteil ist.

Ein zentrales Hindernis für DFL ist die Heterogenität: Unterschiedliche Datenverteilungen und Modellinitialisierungen führen zu stark variierenden lokalen Modellen, was die Konvergenz verlangsamt. Das neue Verfahren adressiert dieses Problem, indem es die Unsicherheit einzelner Parameter in den lokalen Modellen explizit berücksichtigt.

Das innovative Aggregationsschema nutzt eine Annäherung an die zweite Ordnung der lokalen Modelle, um Konsensgewichte zu erzeugen. Diese Gewichte skalieren die Nachbarschaftsaktualisierungen, bevor sie zu einer globalen Nachbarschaftsrepräsentation zusammengeführt werden. In umfangreichen Bildverarbeitungs-Experimenten zeigt das Verfahren eine verbesserte Generalisierbarkeit der lokalen Modelle bei gleichzeitig reduzierten Kommunikationskosten.