DartQuant: Schnelle Rotationskalibrierung für die Quantisierung von Sprachmodellen

Quantisierung ist ein entscheidender Schritt, um die Inferenz großer Sprachmodelle zu beschleunigen. Rotationsmatrizen haben sich dabei als besonders wirksam erwiesen, da sie Ausreißer glätten und die Quantisierungsleistung verbessern. Das Problem: ein end‑to‑end‑Feintuning der Rotationsoptimierung ist rechenintensiv und neigt leicht zum Overfitting.

Mit DartQuant wird die Komplexität drastisch reduziert. Die Methode nutzt eine distributionsbewusste Rotationskalibrierung, bei der die Aktivierungsverteilung nach der Rotation gezielt eingeschränkt wird. Dadurch sinkt die Abhängigkeit von task‑spezifischen Verlustfunktionen, was das Risiko von Overfitting minimiert.

Ein weiteres Highlight ist das QR‑Orth‑Optimierungsschema, das die teure abwechselnde Optimierung durch eine effizientere Lösung ersetzt. In einer Reihe von Quantisierungsexperimenten übertrifft DartQuant bestehende Ansätze deutlich: Für ein 70‑Billionen‑Parameter‑Modell werden Rotationsoptimierungen um 47‑fach beschleunigt und der Speicherbedarf um das Zehnfache reduziert.

Besonders bemerkenswert ist, dass DartQuant erstmals die Rotationskalibrierung eines 70‑Billionen‑Modells auf einer einzigen RTX‑3090‑GPU erfolgreich abschließt. Damit wird die Quantisierung großer Sprachmodelle auch in ressourcenbeschränkten Umgebungen praktikabel. Der Quellcode ist frei verfügbar unter https://github.com/CAS-CLab/DartQuant.git.