Schnelle NTK-Analyse: Trace-Schätzung liefert Norm, Rang und Alignment
Der Neural Tangent Kernel (NTK) beschreibt, wie sich der Zustand eines Modells während des Gradient Descent verändert. Die vollständige NTK‑Matrix zu berechnen ist jedoch oft unpraktisch, besonders bei rekurrenten Architekturen. In der neuen Arbeit wird ein matrixfreier Ansatz vorgestellt, der mithilfe von Trace‑Schätzungen die empirische, endliche NTK schnell analysiert.
