SubFLOT: Effizientes, personalisiertes Federated Learning durch Optimales Transport

Federated Learning (FL) ermöglicht die gemeinsame Modellbildung, ohne dass sensible Daten das Gerät verlassen. In der Praxis stoßen jedoch system- und statistische Heterogenität häufig an ihre Grenzen, was die Skalierbarkeit und Stabilität von FL-Projekten einschränkt.

Ein vielversprechender Ansatz ist das Federated Pruning, bei dem Modelle reduziert werden, um Rechen- und Speicherressourcen zu sparen. Aktuelle Verfahren stehen jedoch vor einem Dilemma: Serverseitiges Pruning bietet keine individuelle Anpassung, während clientseitiges Pruning für viele Edge-Geräte zu rechenintensiv ist. Zudem führt das Pruning selbst zu einer starken Divergenz der Parameter zwischen den Submodellen, was die globale Konvergenz gefährdet.

SubFLOT präsentiert einen neuen Rahmen für serverseitiges, personalisiertes Federated Pruning. Das Optimized Transport Pruning (OTP)-Modul nutzt historische Clientmodelle als Stellvertreter für lokale Datenverteilungen und formuliert das Pruning als Minimierung der Wasserstein-Distanz. Auf diese Weise entstehen maßgeschneiderte Submodelle, ohne dass rohe Daten ausgetauscht werden.

Zur Bekämpfung der Parameterdivergenz integriert SubFLOT das Scaling-based Adaptive Regularization (SAR)-Modul. Dieses reguliert die Abweichung eines Submodells vom globalen Modell, wobei die Strafstärke proportional zur individuellen Pruning-Rate des Clients skaliert wird.

Umfangreiche Experimente zeigen, dass SubFLOT die führenden Methoden deutlich übertrifft. Die Ergebnisse unterstreichen das Potenzial, effiziente und personalisierte Modelle auf ressourcenbeschränkten Edge-Geräten einzusetzen.