Quantisierung von LLMs: 4‑Bit‑Modelle behalten kausale Genauigkeit bei

Eine neue Studie aus dem arXiv‑Repository untersucht, wie stark die Reduktion der numerischen Präzision bei großen Sprachmodellen die Fähigkeit zur kausalen Analyse beeinträchtigt. Dabei wurden die Modelle Llama 3 8B in ihrer quantisierten Form – INT8 und NF4 – auf einem 3000‑Stichproben‑Benchmark getestet, der die drei Ebenen des kausalen Treppensteigs von Judea Pearl abdeckt.

Erstaunlicherweise bleibt die Genauigkeit auf allen Ebenen weitgehend unverändert. Bei der 4‑Bit‑Quantisierung NF4 fällt die Gesamtleistung weniger als ein Prozent. Die Interventionsfragen der zweiten Ebene sind am empfindlichsten gegenüber Präzisionsverlust, während die counterfactual‑basierten Fragen der dritten Ebene stabil bleiben, jedoch je nach Fragestyp Schwächen aufweisen, etwa bei Kollidermissbrauch oder Backdoor‑Anpassungen.

Ein weiteres Experiment mit dem CRASS‑Benchmark zeigte nahezu identische Ergebnisse über alle Präzisionen hinweg, was darauf hindeutet, dass aktuelle Commonsense‑Datensätze nicht die strukturelle Sensitivität besitzen, um quantisierungsbedingte Abweichungen aufzudecken. Ergänzend wurde die Wirkung von Graph Retrieval Augmented Generation (GraphRAG) getestet: Durch die Nutzung von korrekten kausalen Graphen verbesserte sich die Interventionsgenauigkeit bei NF4 um 1,7 %, was einen Teil der durch die Kompression verursachten Verluste kompensiert.

Die Ergebnisse legen nahe, dass kausales Denken in Sprachmodellen überraschend robust gegenüber einer 4‑Bit‑Quantisierung ist und dass die Einbindung von Graphstrukturen die Leistung zusätzlich stabilisieren kann. Diese Erkenntnisse sind besonders relevant für den Einsatz von LLMs in ressourcenbeschränkten Edge‑Umgebungen, wo Speicher- und Rechenkapazität begrenzt sind.