Phase-Übergänge enthüllen hierarchische Struktur tiefer neuronaler Netzwerke

Ein neues arXiv‑Preprint zeigt, dass beim Training tiefer neuronaler Netzwerke Phase‑Übergänge auftreten, die eine klare hierarchische Struktur im Verlust‑ und Fehlerlandscape offenbaren.

Die Autoren verbinden drei bislang getrennt betrachtete Phänomene – die Entstehung von Phase‑Übergängen, die allgegenwärtigen Sattel‑Punkte und das Phänomen der Modus‑Verbindung – in einem einheitlichen geometrischen Rahmen. Sie argumentieren, dass die Form des Verlust‑ und Fehlerlandscape die Trainingsdynamik bestimmt.

Analytisch wird nachgewiesen, dass Phase‑Übergänge in DNN‑Lernprozessen durch Sattel‑Punkte im Verlustlandscape gesteuert werden. Auf dieser Erkenntnis aufbauend stellen die Forscher einen einfachen, schnellen Algorithmus vor, der den L2‑Regularisierer nutzt, um die Geometrie des Fehlerlandscape zu untersuchen.

Der Ansatz wird auf MNIST‑Daten angewendet, um die Modus‑Verbindung zu bestätigen: Der Algorithmus findet effizient Pfade, die globale Minima verbinden. Numerische Experimente zeigen zudem, dass Sattel‑Punkte Übergänge zwischen Modellen auslösen, die unterschiedliche Ziffernklassen repräsentieren. Damit liefert die Arbeit einen geometrischen Ursprung für zentrale Trainingsphänomene und legt eine Hierarchie von Genauigkeitsbasen offen, die an Phasen in der statistischen Physik erinnert.