SMoFi: Schrittweise Momentum-Fusion für Federated Learning bei heterogenen Daten
Split‑Federated Learning nutzt die Rechenleistung zentraler Server, um Modellpartitionen zu trainieren. Doch die stark unterschiedlichen Daten in den einzelnen Silos führen zu einer erheblichen Verzerrung der Gradienten…
- Split‑Federated Learning nutzt die Rechenleistung zentraler Server, um Modellpartitionen zu trainieren.
- Doch die stark unterschiedlichen Daten in den einzelnen Silos führen zu einer erheblichen Verzerrung der Gradienten, die die Konvergenzgeschwindigkeit und die Genauigkei…
- Mit dem neuen Framework SMoFi (Step‑wise Momentum Fusion) wird dieses Problem angegangen, indem die Momentum‑Puffer aller serverseitigen Optimierer synchronisiert werden.
Split‑Federated Learning nutzt die Rechenleistung zentraler Server, um Modellpartitionen zu trainieren. Doch die stark unterschiedlichen Daten in den einzelnen Silos führen zu einer erheblichen Verzerrung der Gradienten, die die Konvergenzgeschwindigkeit und die Genauigkeit des globalen Modells stark beeinträchtigen.
Mit dem neuen Framework SMoFi (Step‑wise Momentum Fusion) wird dieses Problem angegangen, indem die Momentum‑Puffer aller serverseitigen Optimierer synchronisiert werden. Zusätzlich sorgt ein stalenheits‑sensitives Ausrichtungsmechanismus dafür, dass die Gradientenupdates des serverseitigen Submodells bei jedem Optimierungsschritt eingeschränkt werden, wodurch die Divergenz kontrolliert bleibt.
Umfangreiche Tests auf mehreren realen Datensätzen zeigen, dass SMoFi die globale Modellgenauigkeit um bis zu 7,1 % steigert und die Konvergenzgeschwindigkeit um bis zu 10,25‑fach erhöht. Die Wirkung wird mit steigender Anzahl an Clients und tieferen Lernmodellen noch stärker, was SMoFi besonders attraktiv für ressourcenbeschränkte Trainingsumgebungen macht.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.