Potara: Federierte Personalisierung durch effizientes Modell‑Merging

In der Welt der großen Vision‑ und Sprachmodelle ist das Feintuning mit Methoden wie LoRA ein bewährter Weg, um Modelle an spezifische Aufgaben anzupassen. Doch in federierten Umgebungen, in denen die Aufgaben der einzelnen Clients stark variieren, wird die Balance zwischen allgemeinem Wissen und personalisiertem Wissen immer schwieriger. Aktuelle Ansätze greifen häufig auf heuristische Mischregeln zurück und bieten keine theoretische Fundierung.

Die neue Methode namens Potara löst dieses Problem, indem sie für jeden Client ein personalisiertes Modell aus zwei komplementären Komponenten zusammenstellt: einem federierten Modell, das das allgemeine Wissen bündelt, und einem lokalen Modell, das die individuellen Anforderungen widerspiegelt. Durch die Anwendung des Konzepts der linearen Modus‑Konnektivität kann Potara die erwartete Aufgabenverlustfunktion analytisch abschätzen und daraus optimale Mischgewichte ableiten. Diese Gewichte minimieren eine obere Schranke für die Varianz des Verlustes und garantieren damit, dass das zusammengeführte Modell besser abschneidet als jedes der beiden Einzelmodelle.

Experimentelle Ergebnisse auf führenden Vision‑ und Sprachbenchmarks zeigen, dass Potara die Personalisierung konsequent verbessert und gleichzeitig die Kommunikationskosten reduziert. Damit bietet die Methode einen starken Trade‑off zwischen Leistung und Effizienz und stellt einen bedeutenden Fortschritt für die Praxis der federierten Lernanwendungen dar.