Frühwarnsignal für Grokking: Kommutator‑Defekt in Loss‑Landschaft

In einer neuen Studie wurde das Phänomen „Grokking“ – die plötzliche Umwandlung von bloßem Auswendiglernen in echtes Verstehen nach langem Training – genauer untersucht. Während Grokking bislang vor allem bei modularen Rechenaufgaben beobachtet wurde, zeigte die Forschung, dass ein bestimmter geometrischer Indikator, der Kommutator‑Defekt, bereits vor dem eigentlichen Lernfortschritt aufsteigt.

Die Forscher testeten zwei klassische Sequenz‑Lernaufgaben, SCAN (kompositionale Generalisierung) und Dyck‑1 (Tiefe‑Vorhersage). Für beide Aufgaben und eine breite Palette von Lernraten stieg der Kommutator‑Defekt deutlich vor dem Zeitpunkt, an dem die Modelle zu generalisieren begannen. Die Vorlaufzeit folgte einer superlinearen Potenzgesetz‑Kurve mit einem Exponenten von etwa 1,18 bei SCAN und 1,13 bei Dyck, was die vorherigen Ergebnisse aus dem Bereich modularer Arithmetik bestätigt.

Eine Analyse der Gewichtespaces mittels PCA zeigte, dass die Konzentration der Spektren kein zuverlässiger Vorbote ist; der Kommutator‑Defekt hingegen bleibt konsistent. Durch gezielte Interventionen konnte die Rolle des Defekts weiter belegt werden: Die Verstärkung der Nicht‑Kommutativität beschleunigte das Grokking um rund 32 % bei SCAN und 50 % bei Dyck, während die Unterdrückung orthogonaler Gradientenflüsse das Phänomen verzögerte oder sogar verhinderte.

Die drei untersuchten Aufgaben bilden ein Spektrum der kausalen Empfindlichkeit – von der starren modularen Arithmetik über das reaktionsfähige Dyck bis hin zum intermediären SCAN. In allen Fällen zeigte die Unterdrückung des Kommutator‑Defekts eine Verzögerung oder das vollständige Verhindern von Grokking, was dessen Notwendigkeit als universelles Signal unterstreicht.

Zusammenfassend identifiziert die Studie den Kommutator‑Defekt als robustes, architekturloses und kausal belegtes Frühwarnsignal für verzögertes Generalisieren in Transformer‑Modellen. Diese Erkenntnis eröffnet neue Wege, um Lernprozesse besser zu verstehen und gezielt zu steuern.