MultiKrum: Neue theoretische Beweise für robuste Aggregation im Lernen

In verteilten Lernsystemen, bei denen mehrere Knoten gleichzeitig Modelle trainieren, ist die Aggregation der lokalen Updates entscheidend – besonders wenn einige Knoten von böswilligen Akteuren manipuliert werden. Dieses Szenario, bekannt als Byzantine‑Threat‑Model, verlangt Aggregationsregeln, die trotz fehlerhafter Beiträge zuverlässig bleiben.

Der seit langem untersuchte Krum‑Algorithmus hat bereits robuste Eigenschaften bewiesen, doch seine praktische Variante MultiKrum, die mehrere Kandidaten gleichzeitig berücksichtigt, fehlte bislang an einer soliden theoretischen Fundierung. Die neue Arbeit liefert erstmals einen Beweis dafür, dass MultiKrum tatsächlich robust ist, und quantifiziert dessen Leistungsfähigkeit.

Zur Messung der Robustheit wird ein neuer Parameter κ* eingeführt – der optimale Robustheitskoeffizient. Dieser Maßstab beschreibt präziser, wie genau ein Mittelwert geschätzt werden kann, wenn Angreifer vorhanden sind, und übertrifft frühere Definitionen. Mit κ* lassen sich nun obere und untere Schranken für die Robustheit von MultiKrum bestimmen.

Die Resultate zeigen, dass die Robustheitsgrenzen von MultiKrum niemals schlechter sind als die von Krum und in realistischen Einsatzszenarien sogar besser abschneiden. Zusätzlich werden die bislang besten Schranken für Krum verbessert. Experimentelle Analysen bestätigen die theoretischen Erkenntnisse und unterstreichen die praktische Relevanz der neuen Beweise.