SMoFi: Schrittweise Momentum-Fusion für Federated Learning bei heterogenen Daten

Split‑Federated Learning nutzt die Rechenleistung zentraler Server, um Modellpartitionen zu trainieren. Doch die stark unterschiedlichen Daten in den einzelnen Silos führen zu einer erheblichen Verzerrung der Gradienten, die die Konvergenzgeschwindigkeit und die Genauigkeit des globalen Modells stark beeinträchtigen.

Mit dem neuen Framework SMoFi (Step‑wise Momentum Fusion) wird dieses Problem angegangen, indem die Momentum‑Puffer aller serverseitigen Optimierer synchronisiert werden. Zusätzlich sorgt ein stalenheits‑sensitives Ausrichtungsmechanismus dafür, dass die Gradientenupdates des serverseitigen Submodells bei jedem Optimierungsschritt eingeschränkt werden, wodurch die Divergenz kontrolliert bleibt.

Umfangreiche Tests auf mehreren realen Datensätzen zeigen, dass SMoFi die globale Modellgenauigkeit um bis zu 7,1 % steigert und die Konvergenzgeschwindigkeit um bis zu 10,25‑fach erhöht. Die Wirkung wird mit steigender Anzahl an Clients und tieferen Lernmodellen noch stärker, was SMoFi besonders attraktiv für ressourcenbeschränkte Trainingsumgebungen macht.