Neues Stiefel-Manifold-Init für tiefe ReLU-Netze: Stabilere Trainingsleistung
Ein neues Initialisierungskonzept für tiefe ReLU‑Netze wurde vorgestellt, das die Trainingsstabilität deutlich verbessert. Durch die Optimierung einer orthogonalen Initialisierung auf der Stiefel‑Mannigfaltigkeit werden sowohl die Skalierung als auch die Voraktivierungsstatistiken von Anfang an kontrolliert. Das Verfahren verhindert das häufige Problem der „dying ReLU“ und reduziert die Abnahme der Aktivierungsvarianz, wodurch Gradient‑Vanishing‑Probleme gemildert werden.
