KBVQ-MoE: Ultra‑niedrigbit‑Quantisierung für Mixture‑of‑Experts‑LLMs

Die neueste Veröffentlichung von Forschern auf arXiv (2602.11184v1) präsentiert KBVQ‑MoE, ein innovatives Verfahren zur Ultra‑niedrigbit‑Quantisierung von Mixture‑of‑Experts (MoE) Modellen. MoE‑Architekturen haben die Leistung großer Sprachmodelle stark verbessert, gleichzeitig aber enorme Parametergrößen und Speicherbedarf verursacht, was ihre Nutzung in ressourcenbeschränkten Umgebungen erschwert.

Vektor‑Quantisierung (VQ) bietet eine vielversprechende Möglichkeit, die Modelle auf wenige Bits zu komprimieren, indem Gewichtvektoren auf die ähnlichsten diskreten Codewörter eines Codebooks abgebildet werden. Bei direkter Anwendung von VQ auf MoEs treten jedoch zwei gravierende Probleme auf: Erstens erzeugen redundante Repräsentationen zwischen den Experten eine ineffiziente Nutzung des begrenzten Codebook‑Speichers, und zweitens verstärken sich durch die Aggregation der Experten kumulative Ausgabebias‑Effekte, was zu Verteilungsverschiebungen führt.

KBVQ‑MoE löst diese Herausforderungen mit zwei Schlüsselelementen. Zunächst eliminiert ein Karhunen‑Loeve‑Transform (KLT) geführtes Singular Value Decomposition (SVD) die Redundanz, indem dominante Gewichtskomponenten extrahiert und über die Experten hinweg geteilt werden. Anschließend wird die VQ ausschließlich auf die nicht‑redundanten, expertspezifischen Repräsentationen angewendet. Um die durch die Quantisierung verursachten Bias‑Schäden zu kompensieren, wird ein kanalspezifisches affine‑Korrekturverfahren eingesetzt, das die Ausgaben stabilisiert.

Experimentelle Ergebnisse zeigen, dass KBVQ‑MoE die Leistung von MoE‑basierten LLMs bei extrem niedrigen Bit‑Raten deutlich verbessert, ohne die sparsamen Aktivierungsmechanismen zu beeinträchtigen. Dieses Verfahren eröffnet neue Möglichkeiten für die effiziente Bereitstellung großer Sprachmodelle in ressourcenbeschränkten Szenarien.