Neue Technik senkt Quantisierungsfehler bei LLMs um bis zu 28,5 %

Post‑Training‑Quantisierung (PTQ) ist ein beliebtes Verfahren, um große Sprachmodelle auf Geräten mit begrenzten Ressourcen einzusetzen. Ein entscheidender Engpass bleibt jedoch die Qualität der Kalibrierungsdaten: Mit wenigen Stichproben lässt sich die Verteilung der Aktivierungen während der Inferenz kaum exakt erfassen, was zu verzerrten Quantisierungsparametern führt.

Die neue Methode FAQ (Family‑Aware Quantization) löst dieses Problem, indem sie Kalibrierungsdaten neu generiert. Dabei werden die ursprünglichen Stichproben in ein größeres Modell derselben Familie eingespeist. Das Modell erzeugt daraufhin hochqualitative Kalibrierungsdaten, die sowohl die typische „Chain‑of‑Thought“-Logik als auch die erwartete Aktivierungsverteilung widerspiegeln.

Die regenerierten Daten werden anschließend einer Gruppen‑Wettbewerb‑Phase unter fachkundiger Anleitung unterzogen, um die besten Stichproben auszuwählen. Diese werden anschließend neu normalisiert, um die Effektivität der Standard‑PTQ‑Pipeline zu maximieren.

In Experimenten mit verschiedenen Modellreihen, darunter Qwen3‑8B, konnte FAQ die Genauigkeitsverluste im Vergleich zum Baseline‑Ansatz um bis zu 28,5 % reduzieren. Diese Ergebnisse unterstreichen das enorme Potenzial der Technik, die Quantisierung von LLMs deutlich zuverlässiger zu machen.