Probabilistisches Federated Learning bei heterogenen Daten – Modellpersonalisierung

In der aktuellen Forschung zu Federated Learning (FL) stoßen herkömmliche Frameworks häufig auf Trainingsprobleme, wenn die lokalen Datensätze unsicher und stark heterogen sind. Probabilistische Ansätze, etwa Bayesian Neural Networks (BNNs), können diese Unsicherheit explizit modellieren und so die Stabilität verbessern – allerdings entstehen dadurch zusätzliche Kosten in Laufzeit, Latenz und Bandbreite, die bislang kaum untersucht wurden.

Um diese Herausforderungen zu meistern, präsentiert die neue Methode Meta‑BayFL ein personalisiertes, probabilistisches FL-Framework, das Meta‑Learning mit BNNs kombiniert. Dabei werden drei Kernfunktionen eingesetzt: Erstens nutzen die Client‑Modelle BNNs, die Unsicherheit in allen versteckten Schichten berücksichtigen und so das Training auf kleinen, verrauschten Datensätzen stabilisieren. Zweitens ermöglicht ein Meta‑Learning‑Ansatz mit adaptiven Lernraten personalisierte Updates, die die lokale Lernleistung unter nicht‑IID‑Bedingungen steigern. Drittens sorgt die einheitliche probabilistische und personalisierte Architektur für eine robuste Aggregation des globalen Modells.

Die Autoren liefern eine theoretische Konvergenzanalyse, die die obere Schranke des globalen Modells über die Kommunikationsrunden hinweg bestimmt. Zusätzlich werden Laufzeit, Latenz und Kommunikationsaufwand gemessen, um die Einsatzfähigkeit auf ressourcenbeschränkten Geräten wie Edge‑Knoten und IoT‑Systemen zu bewerten.

In umfangreichen Experimenten auf den Datensätzen CIFAR‑10, CIFAR‑100 und Tiny‑ImageNet zeigt Meta‑BayFL konsequent bessere Ergebnisse als aktuelle Standard‑ und personalisierte FL‑Methoden, darunter pFedMe, Ditto und FedFomo.

Die Ergebnisse deuten darauf hin, dass Meta‑BayFL ein vielversprechender Ansatz ist, um die Leistungsfähigkeit von Federated Learning in heterogenen, unsicheren Umgebungen zu erhöhen und gleichzeitig die Anforderungen an Rechenressourcen und Netzwerkbandbreite zu reduzieren.