SUN: Effiziente gemeinsame Token‑Vorhersage für Multi‑LLM‑Serving

In der heutigen Landschaft des Multi‑Model‑LLM‑Servings bleibt die Decodierung häufig ein Flaschenhals. Durch modell­spezifische Ressourcenteilung können Modelle nicht gemeinsam gebatcht werden, was zu einer stark suboptimalen GPU‑Nutzung führt – besonders bei unausgeglichenen Arbeitslasten.

Die neue Methode SUN (Shared Use of Next‑token Prediction) löst dieses Problem, indem sie einen Decoder‑Only‑Transformer in ein Pre‑Fill‑Modul und ein Decodierungs‑Modul aufteilt. Nur das pre‑fill‑Modul wird modell­spezifisch fein‑justiert, während das Decodierungs‑Modul eingefroren und zwischen allen Modellen geteilt wird. Dadurch entsteht eine modell‑agnostische Routing‑Strategie, die Decodierungsanfragen gleichmäßig auf gemeinsame Worker verteilt und die Auslastung maximiert.

Tests über verschiedene Aufgaben und Modellfamilien zeigen, dass SUN die Genauigkeit einer vollständigen Feinabstimmung erreicht, dabei aber weniger Decodierungs‑Worker benötigt. Die GPU‑Durchsatzrate steigt um bis zu 2,0‑fach, während die Zeit pro Ausgabetoken (TPOT) unter 5 % bleibt. Diese Effizienzsteigerung macht SUN zu einer attraktiven Lösung für skalierbare LLM‑Deployments.

Darüber hinaus unterstützt SUN die Low‑Bit‑Decodierung. In der quantisierten Variante QSUN wird ein 45 %iger Geschwindigkeitszuwachs erzielt, ohne die Genauigkeit zu beeinträchtigen, und die Vorteile des gemeinsamen Decodierens bleiben erhalten.