Sparse‑Orthogonal LoRA: 73 % weniger Kommunikation im dezentralen Federated Learning

In einer neuen Studie wird gezeigt, wie mobile Geräte mit unterschiedlichen Aufgaben‑Datensätzen gemeinsam ein großes Sprachmodell (LLM) verfeinern können – ohne zentrale Server. Durch die Kombination von Low‑Rank‑Adaptation (LoRA) und einer sparsamen, orthogonalen Update‑Strategie lassen sich die typischen Probleme des dezentralen Federated Learning (DFL) effektiv bekämpfen.

Die Autoren identifizieren drei Hauptprobleme: (1) „catastrophic forgetting“, wenn heterogene Daten widersprüchliche Update‑Richtungen erzeugen; (2) ineffiziente Kommunikation, weil redundante Modell‑Updates viel Bandbreite verbrauchen; und (3) Interferenz zwischen Aufgabenwissen, die die Inferenzleistung mindert. Mit einer sparsamen und orthogonalen LoRA‑Methode werden die Updates so gestaltet, dass sie sich nicht gegenseitig behindern, wodurch das Catastrophic‑Forgetting deutlich reduziert wird.

Weiterhin analysieren die Forscher, wie die Verbindungs­topologie der Geräte die Mehr‑Aufgaben‑Leistung beeinflusst. Auf dieser Basis wird ein cluster‑basiertes Aggregations‑Design vorgeschlagen, das die Kommunikation noch effizienter macht. Abschließend wird ein implizites Mixture‑of‑Experts‑Modell eingeführt, das inkompatible Wissensrepräsentationen während der Inferenz vermeidet.

Simulationen belegen, dass die neue Methode die benötigte Kommunikations­ressourcen um bis zu 73 % senkt und gleichzeitig die durchschnittliche Modell‑Leistung steigert. Diese Fortschritte markieren einen wichtigen Schritt hin zu skalierbaren, datenschutzfreundlichen Sprachmodellen, die auf verteilten Mobilgeräten laufen können.