DP‑FedSOFIM: Schnelleres privates Federated Learning mit Fisher‑Information
In der Welt des privaten Federated Learning hat DP‑FedSOFIM einen bedeutenden Fortschritt erzielt. Das neue Verfahren nutzt die Fisher‑Information Matrix (FIM) als natürlicher Gradient‑Preconditioner und arbeitet ausschließlich auf der Serverseite. Dadurch wird die Speicherlast bei jedem Client auf O(d) reduziert – ein großer Gewinn für hochdimensionale Modelle, bei denen herkömmliche second‑order‑Methoden mit O(d²) Speicherbedarf unpraktisch sind.
Durch die Anwendung der Sherman‑Morrison‑Formel kann DP‑FedSOFIM die Matrixinversion effizient durchführen, was zu einer O(d)-Komplexität pro Trainingsrunde führt. Trotz dieser Optimierung behält das Verfahren die Vorteile von second‑order‑Methoden bei und beschleunigt die Konvergenz deutlich, selbst unter engen Datenschutz‑Budgets.
Ein weiterer Pluspunkt ist die vollständige Wahrung der (ε, δ)-Differential‑Privacy. Der Server‑seitige Preconditioner wirkt sich laut Post‑Processing‑Theorem nicht negativ auf die Privatsphäre aus. Empirische Tests auf dem CIFAR‑10‑Datensatz zeigen, dass DP‑FedSOFIM die Test‑Genauigkeit gegenüber ersten‑Ordnung‑Baselines in mehreren Privatsphäre‑Regimen übertrifft.