Forschung
<p>Tiefe Jacobian-Spektren trennen sich: Exponentielle Skalierung und Vektor‑Alignment</p> <p>In einer neuen Studie von Forschern auf arXiv wird erklärt, warum das Training tiefer neuronaler Netze mit Gradientenverfahren einen starken impliziten Bias aufweist. Der Schlüssel liegt in der Art und Weise, wie die Singularwerte der Jacobian‑Matrix mit zunehmender Tiefe exponentiell skalieren und sich stark voneinander trennen.</p> <p>Die Autoren nutzen einen „fixed‑gates“-Ansatz für Stückweise-lineare Netzwerke,
arXiv – cs.AI