Sliced‑Wasserstein‑Loss verbessert Ultra‑Low‑Bit‑Quantisierung großer Sprachmodelle

Die Vorteile großer Sprachmodelle werden oft von hohen wirtschaftlichen und ökologischen Kosten überschattet. Durch Quantisierung können Energie‑ und Speicherbedarf drastisch reduziert werden, indem Modellparameter in niedrigpräzise Werte umgewandelt werden. Doch bei Bitbreiten unter vier Bits verfälschen sich die Aktivierungs­verteilungen und die Leistung sinkt.

Um dieses Problem zu lösen, wurde ein neuer Verlustfunktionstyp – der sliced Wasserstein‑Loss – entwickelt. Er kalibriert die Verteilungen des quantisierten Modells gezielt, indem er die Ausgaben unter zufälligen linearen Projektionen mit denen des Vollpräzisionsmodells abgleicht. Der Ansatz ergänzt die klassische mittlere quadratische Fehler‑Metrik, verursacht aber keinerlei zusätzlichen Rechenaufwand im Inferenzmodus und lässt sich in jedes post‑training‑Quantisierungs‑Framework mit Retraining einbinden.

In Experimenten mit den führenden Methoden OmniQuant und TesseraQ zeigte der sliced Wasserstein‑Loss konsistente Verbesserungen bei Perplexität und Genauigkeit in allen ultra‑low‑bit‑Einstellungen. Für LLaMA‑2‑7B wurden 4,12 % bis 20,37 % der durch OmniQuant verlorenen Genauigkeit zurückgewonnen, bei OPT‑6,7B zwischen 0,93 % und 7,65 % und bei LLaMA‑2‑13B zwischen 2,26 % und 6,20 %. TesseraQ profitierte von einer relativen Genauigkeitsverbesserung von 3,63 % bis 7,63 %.

Diese Ergebnisse zeigen eindeutig, dass eine distributionsbewusste Kalibrierung die Ultra‑Low‑Bit‑Quantisierung großer Sprachmodelle signifikant verbessert und damit einen wichtigen Schritt zur nachhaltigen Nutzung von KI‑Technologien darstellt.