SAFLe: Einmaliger Federated Learning-Ansatz mit skalierbarer Nichtlinearität

Federated Learning (FL) steht seit langem vor zwei großen Problemen: der enorme Kommunikationsaufwand und die Leistungseinbußen bei heterogenen, nicht gleichverteilten Daten. Analytic FL (AFL) löst das Kommunikationsproblem durch einen einzigen Aggregationsschritt, ist jedoch auf lineare Modelle beschränkt. Neuere nichtlineare Ansätze wie DeepAFL verbessern die Genauigkeit, erfordern dafür jedoch mehrere Runden.

Mit SAFLe wird dieser Kompromiss überwunden. Das Framework kombiniert einen strukturierten „Head“ aus gruppierten, bucketed Features mit sparsamen, gruppierten Embeddings. Diese Architektur ist mathematisch äquivalent zu einer hochdimensionalen linearen Regression, sodass sie dank AFLs ein‑Shot‑Aggregation nutzen kann. Damit bleibt die Kommunikation minimal, während die Modellkomplexität deutlich erhöht wird.

In umfangreichen Benchmarks übertrifft SAFLe sowohl das lineare AFL als auch das mehrrunden‑DeepAFL in der Genauigkeit – insbesondere bei federated vision‑Aufgaben. Das Ergebnis ist ein hocheffizienter, skalierbarer Ansatz, der die Vorteile von Analytic FL mit der Leistungsfähigkeit nichtlinearer Modelle vereint.