Federated Learning für große Sprachmodelle: Neue Taxonomie und Black-Box-Ansatz

In der neuesten Studie zum Federated Learning (FL) für große Sprachmodelle (LLMs) wird ein umfassender Überblick über die aktuellen Ansätze zur nachträglichen Feinabstimmung von Modellen in dezentralen Umgebungen gegeben. FL ermöglicht es, Modelle über verteilte Datenquellen zu trainieren, ohne die Privatsphäre der Clients zu gefährden.

Ein zentrales Problem bei bestehenden Methoden ist der Bedarf an internem Modellwissen, das in der Praxis oft nicht zugänglich ist. Die Autoren stellen daher das Konzept des „inference‑only“ Paradigmas vor, bei dem LLMs ausschließlich als Black‑Box‑Inference‑APIs genutzt werden. Dieser Ansatz reduziert die Anforderungen an Speicher und Rechenleistung erheblich.

Zur besseren Orientierung wird eine neue Taxonomie vorgestellt, die die Literatur entlang zweier Achsen klassifiziert: Modellzugriff (White‑Box, Gray‑Box, Black‑Box) und Parameter‑Effizienz. Die Arbeit hebt exemplarische Techniken aus jeder Kategorie hervor und diskutiert die jeweiligen Vor- und Nachteile.

Abschließend beleuchtet die Studie aufkommende Forschungsrichtungen, die LLMs als reine Black‑Box‑APIs behandeln, und identifiziert offene Herausforderungen, die für die Weiterentwicklung von federated tuning in der Praxis entscheidend sind.