Epoch-weises Double Descent: Wie Deep Learning trotz Rauschen generalisiert

In einer neuen Untersuchung auf arXiv wurde das Phänomen des epoch‑weisen Double Descent in tiefen neuronalen Netzen unter starkem Rauschen genauer analysiert. Forscher trainierten drei vollständig verbundene Modelle unterschiedlicher Größe auf dem Bilddatensatz CIFAR‑10, wobei 30 % der Labels zufällig verfälscht wurden. Durch Aufschlüsselung der Verlustkurven in Signalanteile von sauberen und verrauschten Daten konnten die inneren Signalentwicklungen über die Trainingszeit hinweg getrennt betrachtet werden.

Die Analyse ergab drei zentrale Erkenntnisse. Erstens zeigte jedes Modell nach dem Durchlaufen einer Phase des Overfittings eine deutliche Wiedererlangung der Generalisierungsfähigkeit – ein klassisches Beispiel für „benign overfitting“. Zweitens wurden die verrauschten Beispiele erst nach den sauberen Daten gelernt; im Verlauf des Trainings trennten sich deren Aktivierungen in den äußeren Schichten immer stärker, sodass das Modell nur die verrauschten Daten überanpasste. Drittens tauchte in allen Modellen in einer flachen Schicht eine einzelne, sehr große Aktivierung auf – ein Phänomen, das in aktuellen großen Sprachmodellen als „Massive Activation“ oder „Super Activation“ bezeichnet wird. Diese Aktivierung korrelierte mit den Eingabemustern, jedoch nicht mit den Ausgabemustern.

Die Ergebnisse verbinden die bislang getrennt diskutierten Konzepte des Deep Double Descent, des benign overfitting und der großen Aktivierungen und legen damit einen wichtigen Grundstein für zukünftige Forschungen im Bereich der Robustheit und Interpretierbarkeit von Deep‑Learning‑Modellen. Die Studie ist unter arXiv:2601.08316v1 verfügbar.