Quantisierung von LLMs: Wirkung auf neuronale Darstellungen bleibt gering

Quantisierung gilt als praktikable Methode, um große Sprachmodelle in ressourcenbeschränkten Umgebungen einzusetzen. Trotz ihrer Popularität wurde die Auswirkung auf die internen Repräsentationen bisher kaum untersucht, was Fragen zur Zuverlässigkeit quantisierter Modelle aufwirft.

In der vorliegenden Studie wurden verschiedene Interpretationswerkzeuge eingesetzt, um die Effekte der Quantisierung auf Modell- und Neuronverhalten zu analysieren. Dabei wurden mehrere große Sprachmodelle sowohl mit 4‑Bit- als auch mit 8‑Bit-Quantisierung getestet.

Die Ergebnisse zeigen, dass die Kalibrierung der Modelle durch Quantisierung im Allgemeinen nur geringfügig beeinflusst wird. Die Anzahl der „toten“ Neuronen – solche, die über das gesamte Datenset hinweg nahezu null aktivieren – bleibt unabhängig von der Quantisierung gleich. Hinsichtlich der Beitrag einzelner Neuronen zur Vorhersage lässt sich beobachten, dass kleinere Modelle mit weniger signifikanten Neuronen arbeiten, während größere Modelle tendenziell mehr haben, mit der Ausnahme von Llama‑2‑7B. Der Einfluss der Quantisierung auf die Neuronredundanz variiert zudem je nach Modell.

Zusammenfassend lässt sich sagen, dass die Wirkung der Quantisierung je nach Modell und Aufgabe unterschiedlich ausfällt, jedoch keine drastischen Veränderungen auftreten. Diese Erkenntnisse unterstützen die Annahme, dass Quantisierung als zuverlässige Kompressionstechnik für Sprachmodelle weiterhin sinnvoll ist.