Lernrate entscheidet: Topologische Stabilität in neuronalen Netzen

Ein neues arXiv‑Veröffentlichung (2510.02670v1) liefert einen mathematischen Beweis dafür, dass bei einer breiten Klasse permutationen‑equivariantem Lernverhalten – darunter SGD, Adam und weitere – der Trainingsprozess eine bi‑Lipschitz‑Abbildung zwischen Neuronen erzeugt. Diese Abbildung schränkt die Topologie der Neuronendistribution während des Trainings stark ein.

Der Schlüssel liegt in der Lernrate: Unterhalb eines kritischen Punkts η* bleibt die gesamte topologische Struktur erhalten. Übersteigt die Lernrate diesen Schwellenwert, erlaubt das Lernverhalten topologische Vereinfachungen, wodurch das Neuronennetzwerk zunehmend „coarser“ wird und seine Ausdruckskraft abnimmt. Diese Erkenntnis ergänzt das jüngste „Edge‑of‑Stability“-Phänomen und unterteilt die Lerndynamik in zwei Phasen: erst eine glatte Optimierung unter topologischen Beschränkungen, danach eine Phase drastischer Vereinfachungen.

Wichtig ist, dass die Theorie architektur- und loss‑funktionsunabhängig ist. Sie eröffnet damit die Möglichkeit, topologische Methoden universell auf Deep‑Learning‑Modelle anzuwenden und liefert ein neues Verständnis dafür, wie Lernrate und Topologie die Leistungsfähigkeit neuronaler Netze bestimmen.