Hybrid‑Federated‑Learning: Mehr Genauigkeit bei Rauschbelastung

In der Welt des verteilten Lernens stehen Federated Learning (FL) und Federated Distillation (FD) als zwei prominente Ansätze, die Modelle auf den Endgeräten trainieren und gleichzeitig die Privatsphäre schützen. Jeder Ansatz hat jedoch eigene Schwächen: FL ist schneller, aber anfälliger für Rauschen, während FD robuster gegen Störungen ist, jedoch langsamer konvergiert.

Um diese gegensätzlichen Eigenschaften zu kombinieren, wurde ein hybrides Federated‑Learning‑Framework (HFL) entwickelt. In diesem Ansatz sendet jedes Endgerät entweder Gradienten oder Logits, und die Basisstation entscheidet in jeder Trainingsrunde, wie stark FL‑ und FD‑Updates gewichtet werden. Dadurch kann das System die Vorteile beider Methoden optimal nutzen.

Die Autoren haben die Konvergenz des HFL-Frameworks mathematisch nachgewiesen und zwei innovative Techniken eingeführt, die die Freiheitsgrade des Systems weiter ausnutzen. Erstens erfolgt eine adaptive Clusterbildung der Endgeräte mittels Jenks‑Optimierung, wodurch ähnliche Geräte zusammengefasst werden. Zweitens wird die Gewichtung der Updates mit einem gedämpften Newton‑Verfahren dynamisch angepasst.

Simulationen zeigen, dass HFL bei niedrigen Signal‑zu‑Rausch‑Verhältnissen (SNR) eine deutlich höhere Test‑Genauigkeit erzielt, wenn beide Freiheitsgrade – die adaptive Clusterbildung und die adaptive Gewichtung – eingesetzt werden. Das Ergebnis ist ein robustes, schnelleres und zugleich genaueres verteiltes Lernsystem, das besonders in rauschintensiven Umgebungen überzeugt.