Adaptive personalisiertes Federated Learning: Kernel Mean Embeddings

Ein neues Verfahren für personalisiertes Federated Learning (PFL) wurde vorgestellt, das es Agenten ermöglicht, individuelle Modelle zu trainieren, ohne ihre Rohdaten zu teilen. Dabei optimiert jeder Agent eine gewichtete Kombination aller Agenten‑Risiken, wobei die Gewichte selbst aus den Daten gelernt werden.

Die Innovation liegt darin, die Schätzung dieser kollaborativen Gewichte als Problem der Kernel‑Mean‑Embedding‑Estimation mit mehreren Datenquellen zu formulieren. Durch den Einsatz von Multi‑Task‑Averaging werden statistische Beziehungen zwischen den Agenten erfasst, was zu einem vollständig adaptiven Verfahren führt.

Das Verfahren benötigt keine vorherige Kenntnis der Datenheterogenität und kann automatisch zwischen globalem und lokalem Lernen wechseln. Durch die Umformulierung des Ziels als hochdimensionales Mittelwertschätzungsproblem wurden endlich‑Stichproben‑Grenzen für lokale Überzugsrisiken abgeleitet, die die statistischen Vorteile der Zusammenarbeit quantifizieren.

Um die Kommunikationsbeschränkungen in federated Settings zu adressieren, wurde eine praktische Implementierung auf Basis von Random‑Fourier‑Features vorgeschlagen. Diese ermöglicht einen gezielten Trade‑off zwischen Kommunikationsaufwand und statistischer Effizienz.

Numerische Experimente bestätigen die theoretischen Ergebnisse und zeigen, dass das neue Verfahren sowohl in heterogenen als auch in homogenen Datenumgebungen hervorragende Leistungen erzielt.