Neues Initialisierungskonzept verbessert Stabilität tiefer neuronaler Netze

In den letzten Jahren wurden zahlreiche Initialisierungsmethoden für neuronale Netze entwickelt, darunter die bekannten Glorot- und He-Initialisierungen sowie orthogonale Matrizen und Random‑Walk‑Ansätze. Diese Verfahren legen großen Wert darauf, die Varianz der Aktivierungen und Gradienten über die Schichten hinweg konstant zu halten. Allerdings berücksichtigen viele dieser Methoden die Tiefe des Netzwerks nicht vollständig, was bei sehr tiefen Architekturen zu Problemen führen kann.

Die neue Studie von Forschern auf arXiv (2509.05018v1) führt einen umfassenden Vergleich durch und integriert dabei die Tiefe jeder einzelnen Schicht sowie die Gesamttiefe des Netzwerks in die Initialisierung. Dabei wird gezeigt, dass die Annahme einer einheitlichen Varianz über das gesamte Netzwerk bei tiefen Modellen nicht mehr optimal ist. Stattdessen muss die Varianz von der ersten bis zur letzten Schicht systematisch erhöht werden.

Die Autoren stellen eine flexible Methode vor, die die Varianz schichtweise anpasst und dabei die Tiefe berücksichtigt. Experimente belegen, dass diese neue Initialisierungsmethode bestehende Ansätze übertrifft und die Stabilität sowie die Effizienz des Trainings tiefer neuronaler Netze deutlich verbessert.