Rank-basierte Spektralgrenzen sichern stabile FP8-Transformer-Training

Ein neues arXiv-Papier liefert einen entscheidenden Fortschritt für das Training von Transformer‑Modellen in extrem niedriger Präzision. Durch die Analyse der Attention‑Scores, die als bilineare Formen \(S_{ij}=x_i^\top M x_j/\sqrt{d_h}\) dargestellt werden, zeigt die Studie, dass das Risiko von Überläufen in FP8‑Training stark von der maximalen Logit‑Magnitude abhängt.

Die Autoren führen eine rank‑bewusste Konzentrationsungleichung ein: Wenn die Interaktionsmatrix \(M=W^QW^{K\top}\) einen Rang \(r\ll d\) besitzt, fallen die Tail‑Wahrscheinlichkeiten für \(\max_{i,j}|S_{ij}|\) mit \(\exp(-d^{2}\alpha^{2}/(\gamma r))\) ab, statt mit dem üblichen \(\exp(-d\alpha^{2})\). Für typische Transformer‑Architekturen, bei denen \(r=d_h\), bedeutet dies eine 8‑bis‑28‑fach stärkere Konvergenz als bei rank‑agnostischen Grenzen.

Auf dieser Grundlage entwickeln die Forscher „geometry‑aware“ Skalierungsfaktoren für FP8‑Training. Diese werden aus dem Spektralnorm‑Wert \(\|W^QW^{K\top}\|_2\) berechnet, wobei eine implizite Potenziteration verwendet wird. Zusätzlich wird ein gruppiertes Query‑Attention‑Modell eingeführt, das die Key‑Expansion vermeidet und sich nahtlos in bereits optimierte fused‑Attention‑Kernels einfügt.

In umfangreichen Experimenten von GPT‑2 XL bis Llama‑2‑70B verhindert die geometry‑aware‑Skalierung Überläufe in kritischen, transienten Situationen, in denen herkömmliche verzögerte Skalierung versagt. Gleichzeitig bleibt die Downstream‑Leistung, gemessen an MMLU‑Scores, unverändert hoch, was die Methode als praktikable Lösung für stabile Low‑Precision‑Training‑Workflows positioniert.