Effiziente Kommunikation in verteiltem asynchronem ADMM

In der verteilten Optimierung und im Federated Learning ist der asynchrone Alternating Direction Method of Multipliers (ADMM) ein beliebtes Verfahren, weil es große Datenmengen, Datenschutz und heterogene Knoten unterstützt. Doch bei begrenzten Kommunikationsbudgets oder sehr großen Datensätzen kann der Austausch von Nachrichten zum Engpass werden.

Die Autoren schlagen vor, die zu übertragenden Daten mit einer groben Quantisierung zu versehen. Durch die Reduktion der Bitbreite verringert sich der Kommunikationsaufwand erheblich, ohne die Konvergenz des Algorithmus zu gefährden.

In umfangreichen Experimenten, die mehrere verteilte Lernaufgaben – darunter neuronale Netzwerke – abdecken, wurde die Konvergenz des quantisierten asynchronen ADMM bestätigt. Damit eröffnet die Methode neue Möglichkeiten für groß angelegte, datenschutzfreundliche Optimierungen.