Aktivationssensitivität: Das Prinzip für Quantisierung nach Training

In der Welt der großen Sprachmodelle ist die Quantisierung nach dem Training (PTQ) ein entscheidender Schritt, um Modelle effizienter zu machen, ohne ihre Leistung zu verlieren. Bisher beruhen die gängigen PTQ‑Methoden auf unterschiedlichen Heuristiken: Während AWQ sich auf die Größe der Aktivierungen konzentriert, nutzt GPTQ die Kovarianzstruktur der Eingaben, um Quantisierungsfehler zu verteilen. Diese Ansätze wirken zwar stark, bleiben jedoch konzeptionell fragmentiert.

Die neue Arbeit präsentiert ein einheitliches theoretisches Rahmenwerk, das die „Aktivationssensitivität“ definiert – das erwartete Ausmaß, in dem Kanal‑Veränderungen die Verlustfunktion beeinflussen. Durch eine erste‑Ordnung‑Taylor‑Entwicklung zeigt sich, dass diese Sensitivität dem quadrierten Norm der gradienten‑gewichteten Aktivierungen entspricht. Damit entsteht ein klarer, mathematischer Maßstab, der sowohl die Aktivierungsgröße als auch die Weiterleitung von Fehlern berücksichtigt.

Innerhalb dieses Rahmens lassen sich AWQ und GPTQ als komplementäre Näherungen interpretieren, die die Sensitivität unter unterschiedlichen Vereinfachungen rekonstruieren. Die Autoren untersuchen die Design‑Optionen für Sensitivitätsmetriken, verbinden sie mit Gradienten‑Salienz, Fisher‑Information und Hessian‑Kriterien und stellen die Beziehung zu klassischen Pruning‑Methoden wie Optimal Brain Damage und Optimal Brain Surgeon her.

Das Ziel der Studie ist nicht die Einführung eines neuen Quantisierungsschemas, sondern die Schaffung einer soliden konzeptuellen Basis, die es ermöglicht, bestehende PTQ‑Methoden zu verstehen, zu vergleichen und weiterzuentwickeln.