Neuralnetze meistern Modulare Addition: Fourier, Lottery Ticket & Grokking erklärt

Eine neue Studie auf arXiv beleuchtet, wie zweischichtige neuronale Netze die Modulare Addition erlernen. Der Fokus liegt auf der Entstehung von Fourier‑Features, der Rolle des Lottery‑Ticket‑Mechanismus und dem Phänomen „Grokking“. Die Autoren liefern eine mechanistische Erklärung für das Verhalten des Modells und die Dynamik des Trainings.

Frühere Untersuchungen zeigten, dass einzelne Neuronen einzelne Frequenzen lernen und sich phasen­ausrichten. Diese Arbeit geht einen Schritt weiter: Sie definiert eine Diversifikationsbedingung, die während des Trainings bei Überparametrisierung entsteht. Sie besteht aus Phase‑Symmetrie und Frequenz‑Diversifikation und erklärt, wie die einzelnen Features zu einer globalen Lösung zusammengeführt werden.

Die Phase‑Symmetrie ermöglicht ein Mehrheits‑Voting, das das Rauschen einzelner Neuronen ausgleicht und die korrekte Summe zuverlässig erkennt. Gleichzeitig konkurrieren Frequenzen innerhalb eines Neurons; der „Gewinner“ wird durch die anfängliche Spektral­stärke und Phasen­ausrichtung bestimmt. Durch eine Gradient‑Flow‑Analyse wird gezeigt, wie diese Konkurrenz entsteht und wie die Netzwerke letztlich eine fehlerhafte Indikatorfunktion für die richtige Logik der Modulare Addition approximieren.

Die Arbeit nutzt zudem die ODE‑Vergleichs­lemma, um die Phasen‑Kopplungs­dynamik schrittweise zu charakterisieren. Auf dieser Basis wird das Grokking‑Phänomen als dreistufiger Prozess beschrieben: zunächst Memorierung, dann Generalisierung und schließlich das plötzliche Verständnis. Diese Erkenntnisse liefern einen klaren theoretischen Rahmen für die Lernmechanismen in überparametrisierten Netzwerken.