Byzantinische robuste Optimierung bei $(L_0, L_1)$-Glattheit

In einer neuen Veröffentlichung auf arXiv (2603.12512v1) wird ein innovativer Ansatz für verteilte Optimierung vorgestellt, der sowohl bei Byzantine-Angriffen als auch bei Funktionen mit state‑abhängigen Gradient‑Lipschitz‑Konstanten zuverlässig arbeitet. Der vorgeschlagene Algorithmus, Byz‑NSGDM, kombiniert normalisierten stochastischen Gradientenabstieg mit Momentum und nutzt eine robuste Aggregation, die durch Nearest‑Neighbor‑Mixing (NNM) verstärkt wird.

Byz‑NSGDM erreicht einen Konvergenz‑Raten von $O(K^{-1/4})$, wobei die Fehlerbremse durch einen Byzantine‑Bias‑Floor begrenzt ist, der proportional zum Robustheitskoeffizienten und zur Gradientenheterogenität ist. Diese theoretische Garantie gilt trotz der zusätzlichen Komplexität, die $(L_0, L_1)$‑Glattheit mit sich bringt.

Experimentell wurde die Methode auf heterogenen MNIST‑Klassifikationsaufgaben, synthetischen $(L_0, L_1)$‑glatten Optimierungsproblemen und einem character‑level GPT‑Modell getestet. In allen Szenarien zeigte Byz‑NSGDM eine starke Widerstandsfähigkeit gegen verschiedene Byzantine‑Angriffsstrategien. Ein Ablationsstudium verdeutlichte zudem, dass die Robustheit des Algorithmus über ein breites Spektrum an Momentum‑ und Lernraten‑Einstellungen hinweg erhalten bleibt.