Grokking in neuronalen Netzen: Regularisierung entscheidet, Optimierung weniger

Neural‑Network‑Forscher haben ein neues, systematisches Experiment veröffentlicht, das die bislang rätselhafte „Grokking“-Phänomen – den verzögerten Übergang von bloßem Auswendiglernen zu echter Generalisierung – entschlüsselt. Durch gezielte Kontrolle von Architektur, Optimierung und Regularisierung konnten die Autoren zeigen, dass die Architektur allein nicht die entscheidende Rolle spielt, sondern vielmehr die Wechselwirkung zwischen Optimierungsstabilität und Regularisierung.

Ein zentrales Ergebnis ist die nicht‑monotone Wirkung der Tiefe: Vier‑schichtige MLP‑Modelle scheitern konsequent beim Grokking, während achte Schichten in Residual‑Netzwerken die Generalisierung wiederherstellen. Gleichzeitig verschwindet der zuvor beobachtete Leistungsunterschied zwischen Transformers und MLPs, sobald Hyperparameter wie Optimierer und Regularisierung aufeinander abgestimmt werden. Die Wahl der Aktivierungsfunktion wirkt sich ebenfalls kontextabhängig aus – GELU kann bis zu 4,3‑fach schneller als ReLU arbeiten, jedoch nur, wenn die Regularisierung das Auswendiglernen zulässt.

Der wichtigste Einflussfaktor ist die Gewichtungs­decay‑Regulierung. Die Studie identifiziert einen schmalen „Goldilocks“-Bereich, in dem Grokking auftritt; zu wenig oder zu viel Decay verhindert die Generalisierung. Diese Erkenntnisse legen nahe, dass das Grokking‑Verhalten primär durch die Interaktion von Optimierung und Regularisierung bestimmt wird und nicht durch die reine Netzwerkarchitektur. Das Ergebnis liefert einen einheitlichen, empirischen Rahmen, der die bisherigen, architektur‑zentrierten Erklärungen in Frage stellt und die Bedeutung von Optimierungs‑ und Regularisierungseinstellungen für das Lernen in neuronalen Netzen unterstreicht.