Neues Initialisierungskonzept verbessert Stabilität tiefer neuronaler Netze
In den letzten Jahren wurden zahlreiche Initialisierungsmethoden für neuronale Netze entwickelt, darunter die bekannten Glorot- und He-Initialisierungen sowie orthogonale Matrizen und Random‑Walk‑Ansätze. Diese Verfahren legen großen Wert darauf, die Varianz der Aktivierungen und Gradienten über die Schichten hinweg konstant zu halten. Allerdings berücksichtigen viele dieser Methoden die Tiefe des Netzwerks nicht vollständig, was bei sehr tiefen Architekturen zu Problemen führen kann.
