FedOL: One-Shot-Federated-Learning für größere Modelle heterogene Clients

Mit FedOL wird das Training großer KI‑Modelle in einer einzigen Kommunikationsrunde möglich. Statt der üblichen, ressourcenintensiven Modellparameter‑Austausche nutzt die Methode Knowledge Distillation: Jeder Client sendet lediglich die Vorhersagen seiner lokalen Modelle auf einem öffentlichen, unbeschrifteten Datensatz an den zentralen Server.

Dadurch sinkt der Datenverkehr drastisch, weil nur kompakte Vorhersagen übertragen werden. Gleichzeitig erlaubt FedOL heterogene Modellarchitekturen – jedes Gerät kann ein eigenes, kleineres Modell behalten, während der Server ein deutlich größeres Modell aufbaut.

Ein zentrales Problem bei dieser Herangehensweise ist die Verzerrung der Client‑Vorhersagen, die aus ungleich verteilten lokalen Daten entsteht. FedOL löst dies mit einer speziellen Zielfunktion, die iterativ Pseudo‑Labels verbessert und das Server‑Modell verfeinert. Das Ergebnis ist ein robustes, leistungsfähiges Modell, das die Vorteile großer Netzwerke nutzt, ohne die Privatsphäre der Clients zu gefährden.