Benford-Quant: Logarithmisch angepasste Quantisierung steigert LLM-Leistung

Mit dem rasanten Wachstum großer Sprachmodelle steigt der Bedarf an effektiven Kompressionsmethoden. Die am häufigsten eingesetzte Technik ist die Gewichtquantisierung, bei der die Modellparameter auf wenige Bits reduziert werden. Traditionelle Quantisierer setzen jedoch auf ein gleichmäßiges Gitter, was im Widerspruch zu den stark schiefen Verteilungen steht, die in realen Modellen beobachtet werden.

Benford-Quant, ein neuer, datenfreier Ansatz, nutzt die Benford‑Gesetz‑Verteilung, die besagt, dass führende Ziffern einer logarithmischen Verteilung folgen. Anstelle eines gleichmäßigen Gitters wird ein logarithmisch verteiltes Codebuch verwendet, wodurch besonders häufig auftretende, kleine Gewichte mit höherer Auflösung quantisiert werden. Dieser Ansatz ist sowohl theoretisch fundiert als auch praktisch leicht umzusetzen.

Die Autoren zeigen, dass Gewichte in Transformator‑Schichten nahezu exakt den Benford‑Statistiken entsprechen, während Normalisierungsschichten systematisch davon abweichen. Auf kleinen Sprachmodellen verbessert Benford-Quant die Perplexität um mehr als 10 % bei 4‑Bit‑Quantisierung, beispielsweise bei Gemma‑270M. Bei größeren Modellen bleibt die Methode konkurrenzfähig, wobei Unterschiede durch Überparameterisierung erklärt werden können.

Die Ergebnisse deuten darauf hin, dass die Einbindung eines Benford‑inspirierten Priors in Quantisierungsgitter eine kostengünstige Modifikation darstellt, die in aggressiven Few‑Bit‑Regimen Genauigkeitsgewinne erzielt. Obwohl sie den aktuellen Spitzenwerten bei Aufgaben wie Perplexität oder LAMBADA nicht übertrifft, lässt sich Benford-Quant problemlos mit anderen Verfahren wie SmoothQuant oder Activation‑Aware Quantization kombinieren, ohne die Pipeline wesentlich zu verändern, und könnte dadurch deren Leistung weiter steigern.