4‑Bit‑Attention mit Quantization‑Aware Training: Neue Methode Attn‑QAT

Die zuverlässige Umsetzung von 4‑Bit‑Attention ist ein entscheidender Schritt für die vollständige FP4‑Rechnung auf den neuesten FP4‑fähigen GPUs. Trotz des Potenzials bleibt die Attention der größte Stolperstein, weil FP4 nur ein sehr kleines Dynamikbereich bietet und die Aktivierungen stark schief verteilt sind.

In der neuesten Veröffentlichung von arXiv (2603.00040v1) wird erstmals systematisch untersucht, wie Quantization‑Aware Training (QAT) für Attention in 4‑Bit umgesetzt werden kann. Die Autoren zeigen, dass ein naiver „Drop‑in“-Ansatz – ein FP4‑Vorwärtspass kombiniert mit einem hochpräzisen Flash‑Attention‑ähnlichen Rückwärtspass – zu Trainingsinstabilitäten führt.

Aus dieser Analyse ergeben sich zwei zentrale Prinzipien für stabile FP4‑Attention: Erstens muss die Rekalkulation der Attention‑Scores im Rückwärtspass ebenfalls in niedriger Präzision erfolgen. Zweitens müssen implizite Präzisionsannahmen in der Gradientenermittlung von Flash‑Attention aufgelöst werden. Auf Basis dieser Erkenntnisse stellen die Forscher Attn‑QAT vor und implementieren dafür verschmolzene Triton‑Kernels für das Training sowie dedizierte FP4‑Inference‑Kernels.

Tests an Diffusions‑ und Sprachmodellen zeigen, dass Attn‑QAT den Qualitätsverlust, der bei FP4‑Attention üblich ist, ohne zusätzliche Heuristiken zur Ausreißer‑Minderung kompensiert. Darüber hinaus erzielt die Methode bis zu 1,5‑fach schnellere Ausführung auf einer RTX 5090. Video‑Demonstrationen sind unter Google Drive verfügbar.