FedWMSAM: Schnelles, flaches Federated Learning mit Momentum‑ und SAM

Ein brandneues Verfahren namens FedWMSAM verspricht, die beiden zentralen Herausforderungen des Federated Learning – schnelle Konvergenz bei begrenzten Kommunikationsressourcen und gute Generalisierung über heterogene Client‑Daten – gleichzeitig zu meistern. Durch die Kombination von Momentum‑Beschleunigung und Sharpness‑Aware Minimization (SAM) soll die Modellleistung deutlich gesteigert werden.

Die Autoren zeigen, dass die nahtlose Verbindung von Momentum und SAM in nicht‑IID‑Umgebungen zwei strukturelle Schwachstellen aufweist: die lokale und globale Krümmung des Verlustes sind nicht immer übereinstimmend, und ein „Momentum‑Echo“ kann zu Instabilitäten in späteren Trainingsphasen führen. Diese beiden Fehlerquellen wurden bisher nicht gemeinsam adressiert.

FedWMSAM löst die Probleme, indem es aus dem serverseitig aggregierten Momentum eine globale Perturbation ableitet, die die SAM‑Richtungen der Clients mit der globalen Abstiegsgestalt in Einklang bringt. Dadurch kann SAM mit einer einzigen Rückpropagation approximiert werden, was die Effizienz erhöht. Zusätzlich steuert ein cosinus‑ähnlicher, adaptiver Regelmechanismus die Wechselwirkung zwischen Momentum und SAM: in den frühen Trainingsschritten wird Momentum genutzt, später übernimmt SAM die Hauptrolle.

Die Arbeit liefert zudem einen theoretischen Nicht‑IID‑Konvergenzbeweis, der die durch die Perturbation induzierte Varianz \(\sigma_\rho^2 = \sigma^2 + (L\rho)^2\) explizit berücksichtigt und deren Abhängigkeit von den Parametern \(S, K, R, N\) darstellt. Umfangreiche Experimente auf verschiedenen Datensätzen und Modellarchitekturen bestätigen die Wirksamkeit von FedWMSAM und zeigen, dass es die Leistung in heterogenen Federated‑Learning‑Szenarien deutlich verbessert.