Neuer Gradient‑Aware Kompressor reduziert FL-Kommunikationskosten drastisch

Federated Learning (FL) ermöglicht es, Modelle gemeinsam zu trainieren, ohne dass die privaten Daten der Clients offengelegt werden. In der Praxis bleibt die Kommunikation der Gradienten zwischen den Clients und dem zentralen Server jedoch oft der größte Engpass, besonders wenn die Clients unterschiedliche Bandbreiten besitzen.

Um diesen Overhead zu verringern, setzen viele Ansätze auf verlustbehaftete Kompression mit Fehlergrenzen (EBLC). Diese Technik bietet einen feinen Kompromiss zwischen Nutzen und Kompression. Doch die gängigen EBLC‑Methoden, wie SZ, wurden für glatte wissenschaftliche Daten entwickelt und nutzen generische Prädiktoren wie Lorenzo oder Interpolation. Gradiententensoren zeigen dagegen nur geringe Glattheit und schwache räumliche Korrelationen, sodass diese Prädiktoren kaum Nutzen bringen und die Kompressionsrate stark sinkt.

Die neue Lösung adressiert dieses Problem, indem sie einen speziell auf FL‑Gradienten zugeschnittenen Prädiktor einführt. Er nutzt zeitliche Korrelationen über mehrere Trainingsrunden hinweg und strukturelle Regularitäten in Convolution‑Kernen, um die Rest‑Entropie zu reduzieren. Der Prädiktor besteht aus zwei Teilen: einem magnitudenbasierten Cross‑Round‑Predictor, der einen normalisierten exponentiellen gleitenden Durchschnitt verwendet, und einem Vorzeichen‑Predictor, der die Oszillation der Gradienten und die Konsistenz der Vorzeichen auf Kernel‑Ebene ausnutzt. Beide Komponenten lassen sich problemlos mit Standard‑Quantisierern und Entropie‑Codern kombinieren.

Experimentelle Ergebnisse zeigen, dass der neue Kompressor deutlich höhere Kompressionsraten erzielt und gleichzeitig die Modellgenauigkeit nahezu unverändert lässt. Damit wird die Kommunikation im Federated Learning effizienter, ohne die Qualität der trainierten Modelle zu gefährden.