Spectral Edge Dynamics: Transformer-Training in wenigen Richtungen enthüllt Signal-Noise-Form

In einer neuen Studie wird gezeigt, dass Transformer‑Modelle trotz ihrer enormen Parameterzahl – bis zu 124 Millionen – ihre Trainingspfade in nur wenigen, stark korrelierten Richtungen entwickeln. Diese Erkenntnis steht im Widerspruch zur üblichen Annahme, dass große Modelle ein chaotisches, hochdimensionales Optimierungsverhalten aufweisen.

Um diese Struktur zu quantifizieren, wurde die Methode „Spectral Edge Dynamics“ (SED) eingeführt. Dabei werden Parameterupdates in gleitenden Zeitfenstern mittels Singulärwertzerlegung (SVD) analysiert. Der sogenannte Spektrale Rand, definiert durch das maximale Verhältnis aufeinanderfolgender Singulärwerte \(\sigma_k/\sigma_{k+1}\), trennt die kohärenten Optimierungsrichtungen von reinem Stochastik‑Rauschen ab.

Die Analyse von TinyStories (51 M Parameter) und GPT‑2 124 M unter einer Verteilungsverschiebung zeigte einen universellen dreiphasigen Verlauf des Spektralrands: Anstieg, Plateau und Kollaps. Gleichzeitig passt sich die Signal‑Rank‑Größe dem Aufgaben‑Komplexitätsgrad an – bei 51 M liegt \(k^* = 2\), bei 124 M \(k^* = 3\). Interessanterweise kehrt die Richtung der Kopplung zwischen Spektralgeometrie und Validierungsverlust mit zunehmender Fenstergröße um, ein Phänomen, das als „Lag‑Flip“ bezeichnet wird und die Zeit‑Skala der Trajektorienintegration widerspiegelt.

Ein weiteres Highlight der Arbeit ist die Anwendung der Johnson‑Lindenstrauss‑Projektion auf \(d = 10W\) Dimensionen (z. B. \(d = 100\) für \(W = 10\)). Diese Projektion bewahrt den Spektralrand innerhalb von 5,7 % und macht das Framework damit für Modelle beliebiger Größe praktikabel.

In einer begleitenden Studie konnte die gleiche Spektralgeometrie als Frühwarnsignal für das Phänomen „Grokking“ dienen. Hierbei wurden Generalisierungsverbesserungen 600 bis 1 700 Schritte vor ihrem Auftreten vorhergesagt – erfolgreich getestet an Aufgaben wie modularer Arithmetik, Dyck‑Sprachen und dem SCAN‑Benchmark.