LATMiX: Lernbare Affine-Transformationen für die Microskalierung von LLMs

Die Post‑Training‑Quantisierung (PTQ) bleibt ein zentraler Ansatz, um die Speicher‑ und Rechenkosten großer Sprachmodelle drastisch zu senken. Durch die Anwendung invertierbarer Transformationen auf Aktivierungen lassen sich Aktivierungs‑Outlier erheblich reduzieren, was die Quantisierungs‑Robustheit verbessert. Bisher beschränkten sich die meisten Methoden jedoch auf Rotationen oder Hadamard‑Transformationen.

Während moderne Hardware vermehrt das Microscaling‑Format (MX) unterstützt, zeigte die Kombination von PTQ und MX in früheren Studien starke Leistungsabfälle. Diese Probleme führten zu Annahmen über die zulässigen Transformationen. In der vorliegenden Arbeit wird ein theoretischer Rahmen entwickelt, der die Quantisierungsfehler unter MX‑Quantisierung begrenzt und dabei sowohl die Aktivierungsverteilung als auch die zugrunde liegende Quantisierungsstruktur berücksichtigt.

Aufbauend auf dieser Analyse stellt das neue Verfahren LATMiX vor: lernbare, invertierbare affine Transformationen, die mit Standard‑Deep‑Learning‑Tools optimiert werden können. Durch die Generalisierung der Outlier‑Reduktion erzielt LATMiX konsistente Verbesserungen der durchschnittlichen Genauigkeit bei MX‑Low‑Bit‑Quantisierung. Die Experimente zeigen über eine breite Palette von Zero‑Shot‑Benchmarks und verschiedenen Modellgrößen hinweg signifikante Fortschritte gegenüber starken Baselines.