MoBiQuant: Token-angepasste, elastische Quantisierung für LLMs

Die Anforderungen an die Laufzeitkomplexität von Sprachmodellen variieren stark zwischen Cloud- und Edge-Geräten. Deshalb wird immer häufiger nach elastischen LLM-Deployments gesucht, bei denen ein Modell je nach verfügbarem Rechenbudget mit unterschiedlichen Quantisierungspräzisionen inferiert werden kann.

Ein zentrales Problem dabei ist, dass die Kalibrierungsparameter für die Quantisierung in der Regel an eine feste Präzision gebunden sind. Das erschwert die dynamische Anpassung der Präzision und das Umschalten zwischen verschiedenen Quantisierungsstufen während des Laufens.

Die Autoren des neuen Ansatzes haben festgestellt, dass die Ursache für die variierenden Kalibrierungsparameter in der token‑sensitiven Reaktion auf Präzisionsänderungen liegt. Dieses Phänomen, das sie als „precision‑dependent outlier migration“ beschreiben, führt dazu, dass einzelne Tokens unterschiedlich stark von der Quantisierung betroffen sind.

Auf dieser Beobachtung aufbauend stellen die Forscher MoBiQuant vor – ein Mixture‑of‑Bits‑Quantisierungsframework, das die Gewichtspräzision für die elastische LLM‑Inference anhand der Token‑Sensitivität anpasst. Dabei werden die Gewichte in mehreren Residual‑Bit‑Slices rekursiv rekonstruiert, sodass höhere Präzisionen schrittweise wiederhergestellt werden können.

Ein zentrales Element ist der token‑aware Router, der dynamisch entscheidet, wie viele Residual‑Bit‑Slices für einen gegebenen Token verwendet werden. Dadurch wird ein nahtloses Präzisions‑Switching ermöglicht, ohne dass zusätzliche Kalibrierungen erforderlich sind.

Experimentelle Ergebnisse zeigen, dass MoBiQuant eine starke Elastizität bietet und die Performance von bit‑spezifisch kalibrierten PTQ‑Modellen für LLaMA3‑8B erreicht – und das ohne wiederholte Kalibrierung. Damit eröffnet MoBiQuant neue Möglichkeiten für die effiziente und flexible Nutzung großer Sprachmodelle auf verschiedensten Plattformen.