Quantisierung lügt? Neue Studie untersucht Wahrhaftigkeit quantisierter LLMs

Quantisierung macht große Sprachmodelle in ressourcenarmen Umgebungen einsetzbar, indem Speicher- und Rechenaufwand drastisch reduziert wird. Doch wie wirkt sich diese Kompression auf die Wahrhaftigkeit der Antworten aus? Das neue Papier präsentiert dazu ein umfassendes Evaluationsframework.

TruthfulnessEval bewertet quantisierte Modelle in drei Bereichen: logisches Denken, Alltagswissen und imitierte Falschheiten. Mit diesem Ansatz wurden gängige Quantisierungsmethoden – von 4‑Bit bis hin zu extremen 2‑Bit‑Modellen – an mehreren Open‑Source‑LLMs getestet.

Erstaunlich zeigt die Studie, dass quantisierte Modelle intern wahrheitsgemäße Repräsentationen behalten, aber bei irreführenden Eingaben vermehrt falsche Ausgaben erzeugen. Durch das Testen von 15 Varianten der Prompts „ehrlich“, „neutral“ und „deceptive“ wurde deutlich, dass „deceptive“ Prompts das wahrheitskonforme Verhalten überstimmen, während ehrliche und neutrale Prompts stabile Ergebnisse liefern.

Layer‑wise Probing und PCA‑Visualisierungen verdeutlichen, dass die Modelle die Wahrheit intern kennen, aber bei gezielten, irreführenden Anweisungen falsche Antworten generieren. Diese Erkenntnisse liefern wichtige Hinweise für die Entwicklung quantisierungs‑sensitiver Alignment‑Strategien und Wahrhaftigkeits‑Interventionen.