SDFP: Training‑freies Draft‑Modell für schnelle LLM‑Decodierung

Große Sprachmodelle (LLMs) bilden die Basis für interaktive Multimedia‑Anwendungen wie Untertitelung, Suche, Empfehlung und kreative Inhaltserstellung. Ihre autoregressive Decodierung verursacht jedoch erhebliche Latenzzeiten, die die Nutzererfahrung beeinträchtigen.

Speculative Decoding reduziert die Wartezeit, indem ein leichtgewichtiges Draft‑Modell verwendet wird, das die ersten Token vorhersagt. In der Praxis ist die Einführung solcher Draft‑Modelle jedoch mit hohen Kosten und komplexer Wartung verbunden, da sie oft speziell trainiert oder optimiert werden müssen.

Die neue Methode SDFP (Speculative Decoding with FIT‑Pruned Models) löst dieses Problem, indem sie ein Draft‑Modell ohne jegliches Training erstellt. Durch die Anwendung von Fisher‑Information‑Trace (FIT) wird jede Schicht eines vorhandenen LLMs auf ihre Sensitivität hin untersucht. Schichten, die nur geringe Auswirkungen auf die Ausgabe haben, werden entfernt, wodurch ein kompakter Draft entsteht, der dennoch mit dem Originalmodell kompatibel bleibt und die Standard‑Verifikation im Speculative Decoding unterstützt.

Dank des fehlenden Trainings, der fehlenden Hyperparameter‑Tuning‑Phase und der Notwendigkeit, keine separaten Draft‑Modelle zu pflegen, lässt sich SDFP schnell in bestehende Systeme integrieren. Die Implementierung erfordert lediglich das vorhandene LLM und die FIT‑Pruning‑Logik.

In umfangreichen Benchmarks konnte SDFP die Decodierungszeit um 1,32‑ bis 1,5‑fach reduzieren, ohne die Ausgangsverteilung des Zielmodells zu verändern. Diese Beschleunigung macht LLM‑basierte Multimedia‑Anwendungen deutlich reaktionsschneller und eröffnet neue Einsatzmöglichkeiten in Echtzeit‑Umgebungen.