Neuralnetz zeigen universell Repräsentationskollaps und Top‑Down‑Umstrukturierung

Eine neue Untersuchung auf arXiv beleuchtet die bislang undurchsichtige Mechanik, mit der neuronale Netzwerke während des Trainings neue Fähigkeiten entwickeln. Die Forscher haben fünf geometrische Kennzahlen über fünf Modellgrößen (von 405 000 bis 85 Mio. Parametern) hinweg verfolgt und dabei mehr als 120 Auftretensereignisse in acht algorithmischen Aufgaben sowie drei Pythia‑Sprachmodelle (160 Mio.–2,8 Billionen Parameter) analysiert.

Der erste zentrale Befund ist, dass das Training mit einem universellen Repräsentationskollaps beginnt, bei dem die Netzwerke zu task‑spezifischen Grundzuständen abfallen. Dieser Kollaps ist über einen Parameterbereich von 210‑fachen Größenunterschieden hinweg skaleninvariant – ein Beispiel dafür ist die modulare Arithmetik, die bei allen Modellen einen RANKME‑Wert von etwa 2,0 erreicht, unabhängig von der Modellgröße.

Ein weiteres überraschendes Ergebnis zeigt, dass dieser Kollaps von oben nach unten durch die Schichten propagiert wird. Diese Top‑Down‑Reorganisation widerspricht der herkömmlichen Vorstellung, dass Features schrittweise von unteren zu höheren Ebenen aufgebaut werden.

Die Analyse einer geometrischen Hierarchie legt nahe, dass die Geometrie der Repräsentationen die Entstehung neuer Fähigkeiten vorhersagt. Für schwierige Aufgaben liegt die Vorhersagegenauigkeit bei 75 – 100 % (Precursor‑Rate), während lokale Lernkoeffizienten synchron bleiben und Hessian‑Maße erst später folgen.

Dennoch gibt es Grenzen: Die geometrischen Messgrößen kodieren nur grobe Schwierigkeitsstufen der Aufgaben, liefern aber keine präzise Zeitangabe. Die innerhalb‑Klasse‑Konsistenz liegt bei lediglich 27 %, und wenn die Reihenfolge der Aufgaben über verschiedene Skalen hinweg umgekehrt wird, scheitert die Vorhersage bei 26 %.

Bei den Pythia‑Modellen spiegeln sich die globalen geometrischen Muster wider, jedoch nicht die task‑spezifischen Vorläufersignale. Die Präferenz für eine Aufgabe erfordert eine Trainingsausrichtung, die bei natürlicher Vortrainierung nicht gegeben ist.

Zusammenfassend liefert die Studie ein detailliertes geometrisches Bild der Emergenz von Fähigkeiten in neuronalen Netzwerken und definiert die Bedingungen, unter denen diese Phänomene auftreten. Sie stellt jedoch kein praktisches Vorhersagewerkzeug dar.