FedNSAM: Einheitliche Flachheit in Federated Learning – Genauigkeit steigert

Federated Learning (FL) ermöglicht es, Modelle auf verteilten Geräten zu trainieren, ohne dass die Rohdaten zentralisiert werden. Durch mehrstufige lokale Updates und die starke Heterogenität der Daten entstehen jedoch oft scharfe globale Minima, die die Leistung des gemeinsam trainierten Modells beeinträchtigen.

Viele FL-Algorithmen greifen auf Sharpness‑Aware Minimization (SAM) zurück, um die Flachheit der Verlustflächen zu erhöhen. In stark heterogenen Umgebungen reicht jedoch die lokale Flachheit nicht aus, um die globale Modellleistung zu verbessern, da die lokale Optimierung nicht notwendigerweise die globale Flachheit widerspiegelt.

Um dieses Problem zu adressieren, definiert die neue Methode FedNSAM einen „Flatness‑Distance“-Maßstab, der die Diskrepanz zwischen lokaler und globaler Flachheit quantifiziert. FedNSAM nutzt globalen Nesterov‑Momentum als Richtungsvektor für lokale Schätzungen globaler Störungen und führt damit eine harmonisierte Aktualisierung ein. Theoretisch wird ein engeres Konvergenz‑Bound als bei FedSAM bewiesen, dank der Nesterov‑Extrapolation.

Experimentelle Tests auf CNN‑ und Transformer‑Architekturen zeigen, dass FedNSAM die Genauigkeit und Effizienz deutlich steigert. Der komplette Code ist auf GitHub verfügbar und bietet Forschern sowie Praktikern einen sofort einsatzbereiten Ansatz für robustere Federated‑Learning‑Modelle.