Schnelle NTK-Analyse: Trace-Schätzung liefert Norm, Rang und Alignment

Der Neural Tangent Kernel (NTK) beschreibt, wie sich der Zustand eines Modells während des Gradient Descent verändert. Die vollständige NTK‑Matrix zu berechnen ist jedoch oft unpraktisch, besonders bei rekurrenten Architekturen. In der neuen Arbeit wird ein matrixfreier Ansatz vorgestellt, der mithilfe von Trace‑Schätzungen die empirische, endliche NTK schnell analysiert.

Durch die Anwendung des Hutch++‑Trace‑Estimators lassen sich in kurzer Zeit die Spur, die Frobenius‑Norm, der effektive Rang und die Ausrichtung der NTK bestimmen. Der Ansatz bietet nicht nur schnelle Konvergenz, sondern nutzt auch die Struktur der NTK aus: Die Spur kann mit nur einem Vorwärts‑ oder Rückwärts‑Differenzierungsmodus berechnet werden, ohne beide Modi zu kombinieren.

Besonders im niedrigen Stichprobenbereich übertreffen diese einseitigen Schätzer den klassischen Hutch++-Ansatz, wenn die Differenz zwischen Modellzustand und Parameterzahl groß ist. Die Ergebnisse zeigen, dass matrixfreie, randomisierte Verfahren die Analyse der NTK um mehrere Größenordnungen beschleunigen und damit neue, schnellere Anwendungen ermöglichen.