Hydra verhindert Vergessens bei Split Federated Learning

Split Federated Learning (SFL) teilt ein Modell in zwei Teile: Teil 1 wird lokal bei jedem Client trainiert und anschließend aggregiert, während Teil 2 auf dem Server die von den Clients empfangenen Zwischenaktivierungen sequentiell verarbeitet. Diese Aufteilung ermöglicht eine effiziente Zusammenarbeit, birgt jedoch ein neues Problem: das katastrophale Vergessen (Catastrophic Forgetting, CF).

In SFL können lokale Updates von Teil 1 von den globalen Optima abweichen, während Teil 2 stark von der Reihenfolge der Serververarbeitung abhängt – ein Verhalten, das an das Vergessen in kontinuierlichem Lernen (Continual Learning) erinnert. Die Autoren stellen fest, dass das Modell bei Klassen, die zuletzt in der Sequenz verarbeitet werden, deutlich besser abschneidet.

Die Untersuchung konzentriert sich auf zwei zentrale Aspekte von SFL: die Reihenfolge, in der der Server die Daten verarbeitet, und die Position der „Cut‑Layer“, an der das Modell geteilt wird. Diese Faktoren beeinflussen maßgeblich, wie stark das Vergessen auftritt.

Als Antwort auf dieses Problem präsentiert das Team Hydra, eine neue Methode, die sich an Multi‑Head-Neuronalen Netzwerken orientiert und speziell für die SFL-Umgebung angepasst wurde. Hydra nutzt mehrere Köpfe, um die unterschiedlichen Datenströme besser zu handhaben und das Vergessen zu reduzieren.

Umfangreiche numerische Tests zeigen, dass Hydra die Leistung gegenüber bestehenden Baselines und anderen Ansätzen aus der Literatur deutlich verbessert. Damit bietet Hydra einen vielversprechenden Weg, die Zuverlässigkeit von Split Federated Learning in heterogenen Datenumgebungen zu erhöhen.