LDLT‑Lipschitz‑Netzwerke: Neue Initialisierung steigert Ausgabeverteilung
Eine neue Analyse aus dem arXiv‑Pape 2601.08253v1 untersucht die Initialisierungsdynamik von LDLT‑basierten L‑Lipschitz‑Schichten. Dabei wird die exakte marginale Ausgabeverteilung berechnet, wenn die Parametermatrix \(W_0\in\mathbb{R}^{m\times n}\) mit unabhängigen, identisch verteilten Gauß‑Werten \(\mathcal{N}(0,\sigma^2)\) initialisiert wird.
Der zugrunde liegende Wishart‑Zustand \(S=W_0W_0^\top\sim\mathcal{W}_m(n,\sigma^2\boldsymbol{I}_m)\) ermöglicht die exakte Berechnung der Ausgabeverteilung. Durch die Anwendung von James’ Theorem auf zonale Polynome und einer Laplace‑Integral‑Expansion von \((\alpha\boldsymbol{I}_m+S)^{-1}\) wird die Verteilung in geschlossener Form dargestellt. Zusätzlich wird eine Isserlis/Wick‑basierte kombinatorische Erweiterung für \(\mathbb{E}[\operatorname{tr}(S^k)]\) entwickelt, wobei die Momente bis \(k=10\) exakt berechnet werden. Diese truncierten Reihen liefern für kleine bis moderate \(\sigma^2\) sehr genaue Approximationen, die durch Monte‑Carlo‑Simulationen bestätigt werden.
Ein empirischer Vergleich zeigt, dass die gängigen He‑ bzw. Kaiming‑Initialisierungen mit der Skalierung \(1/\sqrt{n}\) zu einer Ausgabeverteilung von 0,41 führen. Die neue Parameterisierung mit \(10/\sqrt{n}\) für \(\alpha=1\) erhöht die Varianz auf 0,9. Diese Ergebnisse erklären, warum tiefe L‑Lipschitz‑Netzwerke bei der Initialisierung schnell Informationen verlieren, und liefern konkrete Empfehlungen zur Wahl der Initialisierungshyperparameter, um diesen Effekt zu mildern.
Zur Validierung wurden Hyperparameter‑Suchen über Optimierer, Initialisierungsskalen und Netzwerktiefe auf dem Higgs‑Boson‑Klassifikationsdatensatz durchgeführt. Die experimentellen Resultate stimmen mit den theoretischen Vorhersagen überein und zeigen, dass die neue Initialisierung auch in realen Anwendungen die Leistung verbessert.