Verbesserte Post-Training-Quantisierung dank zukünftiger Aktivierungsdaten

Die Kompression großer Sprachmodelle ohne Feinabstimmung ist ein zentrales Thema in der KI-Forschung. Post‑Training‑Quantisierung (PTQ) nutzt dabei die Aktivierungen einer Schicht, um Quantisierungs‑Hyperparameter wie Skalierungsfaktoren festzulegen. Obwohl PTQ effizient ist, führt die ausschließliche Betrachtung aktueller Aktivierungen häufig zu Quantisierungs‑Bias und Fehlerakkumulation, besonders wenn die Kalibrierungsdaten verzerrt sind.

Um diese Schwächen zu beheben, stellt die neue Methode Future‑Aware Quantization (FAQ) vor, die Aktivierungen zukünftiger Schichten einbezieht. Durch die Berücksichtigung von Informationen aus nachfolgenden Layern kann FAQ wichtige Gewichte besser identifizieren und gleichzeitig die Empfindlichkeit gegenüber Kalibrierungsrauschen reduzieren. Ein zusätzliches window‑basiertes Vorschau‑Mechanismus aggregiert sanft mehrere zukünftige Aktivierungen, sodass die Quantisierung nicht zu stark von einer einzelnen Schicht abhängig wird.

FAQ verzichtet auf aufwändige Greedy‑Suche und nutzt stattdessen vorab ermittelte Konfigurationen, um den Overhead minimal zu halten. In umfangreichen Experimenten übertraf FAQ frühere Ansätze konsequent, ohne zusätzliche Kosten, Rückwärtsdurchläufe, Datenrekonstruktion oder Feinabstimmung zu erfordern. Diese Eigenschaften machen die Methode besonders attraktiv für den Einsatz auf Edge‑Geräten, wo Ressourcen knapp sind.