Optimierer formen Lernpfade: Drift und Transversalität bei Transformers

In einer neuen Untersuchung von arXiv‑Studien wird die Geometrie von Trainingspfaden in kleinen Transformer‑Modellen genauer beleuchtet. Dabei kommt heraus, dass die Parameterupdates sich in eine dominante Drift‑Richtung gliedern, während die restlichen Komponenten noch transversale Residualdynamiken tragen.

Durch die Anwendung einer unzentrierten, zeilennormalisierten PCA auf die Trajektorien konnte gezeigt werden, dass bereits früh im Training ein einziger Richtungsvektor einen Großteil der kumulativen Parameterbewegung erklärt. Die verbleibenden Achsen hingegen spiegeln oszillierende Muster in der Leistung von Zusatz‑Probe‑Modellen wider.

Interessanterweise weisen die momentanen Gradienten kaum Ausrichtung mit dieser dominanten Drift‑Richtung auf. Das deutet darauf hin, dass die Drift nicht aus der Batch‑Gradientenstruktur entsteht, sondern aus der kumulativen Wirkung der Optimierer‑Updates. Ein Vergleich zwischen AdamW und SGD‑Varianten bei gleichen Verlustwerten zeigt deutliche Unterschiede: AdamW entwickelt ein mehrdimensionales Drift‑Schema, während SGD‑Familienoptimierer nahezu kollineare Parameterentwicklungen und schwächere Probe‑Dynamiken aufweisen.

Eine gezielte Reheating‑Intervention stört ausschließlich die transversalen Komponenten, ohne die dominante Drift‑Koordinate zu beeinflussen. Diese Erkenntnisse legen nahe, dass die Wahl des Optimierers die effektive Dimensionalität und Struktur der Lernpfade maßgeblich bestimmt – ein Effekt, der über die bloßen Verlustwerte hinausgeht.