FedTreeLoRA: Baumbasierte Aggregation vereint statistische und funktionale Heterogenität

Federated Learning (FL) kombiniert mit Low‑Rank Adaptation (LoRA) hat sich als Standard für datenschutzfreundliches Feintuning großer Sprachmodelle etabliert. Bisher konzentrierten sich personalisierte Ansätze jedoch hauptsächlich auf die statistische Heterogenität der Clients und betrachteten das Modell als ein monolithisches Ganzes, wodurch die funktionale Heterogenität – also die Unterschiede in den einzelnen LLM‑Schichten – vernachlässigt wurde.

FedTreeLoRA löst dieses Problem, indem es eine baumbasierte Aggregation einführt. Durch die dynamische Konstruktion einer hierarchischen Struktur können Clients zunächst einen breiten Konsens auf den flachen „Trunk“-Schichten erreichen und sich anschließend in den tieferen „Branch“-Schichten spezialisieren. Diese fein abgestimmte, schichtweise Ausrichtung berücksichtigt sowohl die horizontalen (statistischen) als auch die vertikalen (funktionalen) Dimensionen der Heterogenität.

Experimentelle Tests auf NLU‑ und NLG‑Benchmarks zeigen, dass FedTreeLoRA die Leistung gegenüber aktuellen State‑of‑the‑Art‑Methoden deutlich steigert. Das Verfahren verbindet erfolgreich Generalisierung und Personalisierung und eröffnet damit neue Möglichkeiten für effizientes, privatsphärenfreundliches Feintuning in verteilten Lernumgebungen.