Mehrfach-Grokking: Geometrische Entdeckungen in Transformers

In einer brandneuen Studie auf arXiv wird das Phänomen des Grokking – die plötzliche Übergang von bloßem Auswendiglernen zu echter Generalisierung – in einem bislang unerforschten Mehrfach-Task-Setting untersucht. Forscher haben Transformer‑Modelle mit gemeinsamem Kern trainiert, die gleichzeitig drei modulare Rechenaufgaben (Addition, Multiplikation und Quadrieren) lösen sollen, und dabei die Wirkung verschiedener Gewichtungsabkühlungsraten systematisch analysiert.

Die Ergebnisse zeigen fünf konsistente Muster. Erstens folgt das Grokking einer klaren Reihenfolge: die Multiplikation generalisiert sich zuerst, dann das Quadrieren und zuletzt die Addition – ein Phänomen, das sich über mehrere Trainingsläufe hinweg reproduzierbar zeigt. Zweitens bleibt der Optimierungsweg auf einem niedrigen, fast unveränderlichen Dimensionsmanifold eingeschränkt; Fehler in der Kommutator‑Berechnung, die orthogonal zu diesem Manifold liegen, treten zuverlässig vor dem Generalisierungsbeginn auf.

Drittens wird die Gewichtungsabkühlung als entscheidender Faktor für die Dynamik des Grokking identifiziert. Zeitrahmen, Krümmungstiefe, Rekonstruktionsschwelle und Fehlerkorrelationen variieren systematisch mit der Abkühlungsrate, was auf mehrere dynamische Regime und einen klaren „kein-Abkühlungs‑Fehlermodus“ hinweist. Viertens zeigen die Endlösungen eine erstaunliche Holographie: Sie nutzen nur vier bis acht Haupttrajektorien, sind jedoch über das gesamte Gewichtsmatrix‑Rang verteilt und lassen sich durch minimale Störungen zerstören. Techniken wie SVD‑Trunkierung, Magnituden‑Pruning oder gleichmäßige Skalierung bewahren die Leistung nicht.

Schließlich wird die Transversale Fragilität und Redundanz der Modelle beleuchtet. Das Entfernen weniger als zehn Prozent orthogonaler Gradientenkomponenten verhindert das Grokking, während Dual‑Task‑Modelle bei extremer Löschung teilweise wiederherstellen können – ein Hinweis auf redundante Zentren, die durch Überparameterisierung ermöglicht werden. Diese Erkenntnisse eröffnen neue Perspektiven für die Gestaltung robuster, mehrzweckfähiger neuronaler Netzwerke.