HERON-SFL: Hybrid-Optimierung für ressourcenschonend Split Federated Learning
Split Federated Learning (SFL) ermöglicht es ressourcenbeschränkten Edge‑Geräten, gemeinsam mit einem leistungsstarken Server Modelle zu trainieren. Dabei stellt die Kommunikation häufig ein Engpass dar, den Hilfsnetzwerke teilweise mildern können. Das eigentliche Problem bleibt jedoch die hohe Rechen- und Speicherbelastung beim Back‑Propagation‑Prozess auf den Geräten, die die Skalierbarkeit von Modellen stark einschränkt.
HERON‑SFL löst dieses Dilemma mit einem hybriden Optimierungsansatz. Auf den Clients wird die zeroth‑Order‑Optimierung eingesetzt, die lokale Gradienten durch leicht abgewandelte, nur vorwärtsgerichtete Auswertungen approximiert. Dadurch entfällt das speicherintensive Zwischenspeichern von Aktivierungen und die explizite Berechnung von Gradienten. Auf dem Server bleibt die klassische first‑Order‑Optimierung erhalten, sodass die Gesamtleistung nicht beeinträchtigt wird.
Durch die Annahme einer niedrigen effektiven Rangstruktur kann HERON‑SFL theoretisch nachgewiesen werden: Der Konvergenz‑Raten hängt nicht von der Modelldimension ab, was ein zentrales Skalierungsproblem bei zeroth‑Order‑Algorithmen löst. Praktische Tests auf ResNet‑Training und Sprachmodell‑Fine‑Tuning zeigen, dass HERON‑SFL die gleiche Genauigkeit wie etablierte Verfahren erreicht, während es die SpitzenSpeicherauslastung der Clients um bis zu 64 % und die rechenintensive Belastung um bis zu 33 % pro Schritt reduziert. Damit wird die Möglichkeit geschaffen, deutlich größere Modelle auf Geräten mit begrenzten Ressourcen zu trainieren oder anzupassen.