FedPM: Federated Learning mit zweiter Ordnung und Parameter‑Mischung
In einer neuen Veröffentlichung auf arXiv (2511.09100v1) stellen die Autoren FedPM vor – eine innovative Methode für Federated Learning, die die Kraft der zweiten‑Ordnung‑Optimierung nutzt. Im Gegensatz zu bisherigen Ansätzen wie LocalNewton, LTDA oder FedSophia, die lokale Updates iterativ durchführen und anschließend die Parameter einfach auf dem Server mischen, löst FedPM das Problem des Driftens lokaler Präconditioner. Durch die Aufteilung der idealen zweiten‑Ordnung‑Aktualisierung in eine serverseitige, vorgefertigte Parameter‑Mischung und lokale Parameter‑Updates auf den Clients wird die Konvergenz stabilisiert, insbesondere bei heterogenen Daten.
Die Autoren liefern eine theoretische Konvergenzanalyse, die für stark konvexe Ziele mit einer einzigen lokalen Aktualisierung einen superlinearen Konvergenzratennachweis erbracht. Praktische Experimente zeigen, dass FedPM die Test‑Genauigkeit im Vergleich zu herkömmlichen Methoden, die lediglich einfache Mischungen verwenden, deutlich verbessert. Damit demonstriert die Arbeit das volle Potenzial der zweiten‑Ordnung‑Optimierung im Federated‑Learning‑Umfeld.