Federated Learning für LLM-Router: Mehr Effizienz ohne zentrale Daten

Große Sprachmodelle (LLMs) werden zunehmend als remote gehostete Dienste von Edge‑ und Unternehmensclients genutzt, die die neuesten Modelle nicht lokal ausführen können. Da die Modelle stark in Leistung und Preis variieren, ist es entscheidend, Anfragen an jene Modelle zu leiten, die ein optimales Verhältnis zwischen Qualität und Rechenaufwand bieten.

Aktuelle Router‑Ansätze setzen auf zentralisierte Evaluationsdaten, die jedoch oft fragmentiert und datenschutzsensibel sind. Das Zentralisieren dieser Daten ist daher nicht praktikabel, und die Schulung eines Routers auf Basis lokaler Daten einzelner Clients führt zu begrenzter Abdeckung und verzerrten Ergebnissen.

Die neue Arbeit präsentiert das erste federierte Framework für LLM‑Routing. Es ermöglicht Clients, aus lokalen Offline‑Evaluationsdaten eine gemeinsame Routing‑Politik zu lernen. Dabei werden sowohl parametrisierte Multilayer‑Perceptron‑Router als auch nichtparametrische K‑Means‑Router unterstützt, um heterogene Client‑Anfrageverteilungen und ungleichmäßige Modellabdeckung zu berücksichtigen.

In zwei Benchmark‑Tests zeigte die federierte Zusammenarbeit eine deutliche Verbesserung der Genauigkeit‑Kosten‑Grenze gegenüber lokal trainierten Routern. Der Erfolg resultiert aus einer erweiterten Modellabdeckung und einer besseren Generalisierung der Anfragen. Theoretische Analysen bestätigen zudem, dass federiertes Training die Routing‑Suboptimalität reduziert.