Neuer NTK-Ansatz verbindet tiefe neuronale Netze mit Deep Neural Kernels

Ein neues Forschungsergebnis aus dem Bereich des Deep Learning eröffnet einen wichtigen Schritt zur theoretischen Fundierung von überparametrisierten neuronalen Netzwerken. Der Ansatz, der als „depth‑induced NTK“ bezeichnet wird, nutzt eine Shortcut‑basierte Architektur, um die Tiefe eines Netzes in die Berechnung des Neural Tangent Kernel (NTK) einzubeziehen.

Während klassische NTK‑Modelle sich auf das unendliche Breitenverhalten konzentrieren, ignorieren sie die Rolle der Tiefe. Der neue Kernel konvergiert zu einem Gaußschen Prozess, sobald die Tiefe gegen unendlich geht, und bietet damit ein analytisch handhabbares Rahmenwerk für tiefere Netzwerke. Durch die theoretische Analyse von Trainingsinvarianten und Spektralmerkmalen zeigt die Arbeit, dass der Kernel die Dynamik stabilisiert und Degenerationen reduziert.

Experimentelle Ergebnisse bestätigen die Wirksamkeit des Ansatzes und demonstrieren, dass die Tiefe einen wesentlichen Einfluss auf die Repräsentationsfähigkeit hat. Diese Erkenntnisse erweitern das bestehende Feld der neuronalen Kerneltheorie und liefern ein tieferes Verständnis für die Skalierungsgesetze in modernen Deep‑Learning‑Modellen.