D²Quant: Präzise Low-Bit-Quantisierung von LLMs ohne Genauigkeitsverlust

Die neuesten Fortschritte in großen Sprachmodellen (LLMs) liefern beeindruckende Leistungen, doch ihre hohen Rechen- und Speicheranforderungen erschweren die Nutzung in ressourcenbeschränkten Umgebungen. Eine vielversprechende Lösung ist die gewichtsbasierten Post-Training-Quantisierung (PTQ), die Speicherbedarf reduziert und Geschwindigkeit erhöht, ohne dass spezielle Hardware oder Low-Bit-Operatoren nötig sind. In der Praxis leiden jedoch die Genauigkeit und Stabilität bei Unter-4-Bit-Präzision stark, was die breite Anwendung behindert.

Die Autoren von D²Quant haben die Ursachen für diese Genauigkeitsverluste eingehend untersucht. Erstens stellen Down‑Projection‑Matrixen ein bekanntes Quantisierungsproblem dar, das oft zusätzliche Bitbreite erfordert, um die Qualität zu erhalten. Zweitens führen die Gewichtquantisierung und die damit verbundenen Aktivierungsabweichungen zu signifikanten Verteilungen, die bislang kaum adressiert wurden. D²Quant begegnet diesen Herausforderungen mit zwei innovativen Ansätzen: dem Dual‑Scale Quantizer (DSQ), der speziell für Down‑Projection‑Matrixen entwickelt wurde und einen absorbierbaren Skalierungsfaktor nutzt, um die Genauigkeit zu verbessern, ohne die Bitbreite zu erhöhen; und der Deviation‑Aware Correction (DAC), die eine Mittelwert‑Shift‑Korrektur innerhalb von LayerNorm einführt, um die durch Quantisierung verursachten Aktivierungsverschiebungen zu kompensieren.

Umfangreiche Experimente über verschiedene LLM-Familien und Bewertungskriterien hinweg zeigen, dass D²Quant die Leistung bei gewichtsbasierten PTQ‑Methoden mit Unter‑4‑Bit-Präzision deutlich steigert. Der Ansatz liefert konsistente Genauigkeitsverbesserungen, ohne zusätzliche Hardware oder komplexe Operationen zu benötigen. Der zugehörige Code und die Modelle stehen auf GitHub zur Verfügung, sodass Entwickler und Forscher sofort von den Fortschritten profitieren können.