FedSparQ: Adaptive Sparse Quantization reduziert FL-Kommunikation um 90 %

Federated Learning (FL) ermöglicht die gemeinsame Modellbildung über verteilte Clients, ohne dass Rohdaten das Gerät verlassen. Ein entscheidendes Problem bleibt jedoch die enorme Kommunikationslast, die durch häufige, hochdimensionale Modellupdates entsteht.

FedSparQ löst dieses Problem mit einem schlanken Kompressionsframework. Jeder Client wählt dynamisch einen Schwellenwert, um den Gradienten zu sparsifizieren, quantisiert die verbleibenden Einträge in halber Präzision und nutzt Rückstände aus einem Fehler‑Feedback‑Mechanismus, um Informationsverluste zu vermeiden.

Das System erfordert keine manuelle Einstellung von Sparsitätsraten oder Quantisierungsplänen, passt sich nahtlos sowohl homogenen als auch heterogenen Datenverteilungen an und ist unabhängig von der Modellarchitektur.

In umfangreichen Tests auf Bildverarbeitungs‑Benchmarks – sowohl bei IID‑ als auch bei non‑IID‑Daten – senkt FedSparQ die gesendeten Bytes um 90 % im Vergleich zu FedAvg. Gleichzeitig verbessert es die Modellgenauigkeit um 6 % gegenüber der unkomprimierten Lösung und steigert die Konvergenz‑Robustheit um 50 % gegenüber anderen Baselines.

FedSparQ bietet damit eine praxisnahe, leicht einsetzbare Lösung für bandbreitenbeschränkte Federated‑Learning‑Deployments und legt die Grundlage für zukünftige Entwicklungen in adaptiver Präzision und datenschutzfreundlichen Protokollen.