Neues Stiefel-Manifold-Init für tiefe ReLU-Netze: Stabilere Trainingsleistung
Ein neues Initialisierungskonzept für tiefe ReLU‑Netze wurde vorgestellt, das die Trainingsstabilität deutlich verbessert. Durch die Optimierung einer orthogonalen Initialisierung auf der Stiefel‑Mannigfaltigkeit werden…