Transformer‑Stabilität: Neue Theorie erklärt Sensitivität und Architektur

In einer bahnbrechenden Studie wird die bislang rätselhafte Zerbrechlichkeit von Transformer‑Modellen endlich entschlüsselt. Die Autoren präsentieren eine umfassende Stabilitätstheorie, die erklärt, warum die vor‑LayerNorm‑Architektur funktioniert, warum DeepNorm die Skalierung \(N^{-1/4}\) nutzt und warum ein Warm‑up‑Schritt unverzichtbar ist – alles aus ersten Prinzipien.

Die Theorie baut auf zwei zentralen Erkenntnissen auf. Erstens wird die exakte Operatornorm des Softmax‑Jacobian ermittelt: \(\|J_{\text{softmax}}(u/\tau)\|_{\infty\to 1} = \theta(p)/\tau\). Der Faktor \(\theta(p)\in[0,1]\) misst die Sensitivität der Aufmerksamkeit. Zweitens wird eine block‑\(\infty\)/RMS‑Geometrie eingeführt, die sich tokenweise ausrichtet und Lipschitz‑Grenzen liefert, die unabhängig von der Sequenzlänge sind.

Mit diesem Rahmen beweisen die Forscher, dass pre‑LN die Identitäts‑Gradientenpfade bewahrt, während post‑LN die LayerNorm‑Jacobian‑Werte mit der Tiefe exponentiell verstärkt. Außerdem erklärt die Theorie, warum DeepNorm die Skalierung \(N^{-1/4}\) aus der quartischen Struktur der vier Projektion‑Matrix‑Aufmerksamkeit ableitet.

Die theoretischen Vorhersagen wurden an Modellen mit 774 Mio. Parametern getestet. Überraschenderweise bleibt der Sensitivitätsfaktor \(\theta(p)\) während des gesamten Trainings nahezu konstant bei etwa 1. Das bedeutet, dass die Stabilität von Transformern nicht durch die Dynamik der Aufmerksamkeit, sondern ausschließlich durch die Architektur selbst bestimmt wird.

Diese Erkenntnis verändert die Art und Weise, wie wir das Training von Transformer‑Modellen betrachten: Die Architektur muss die Sensitivität selbst handhaben, nicht die lernenden Aufmerksamkeitsmuster. Ein bedeutender Schritt hin zu robusteren, effizienteren KI‑Systemen.