Neues Modell erklärt Skalierungsgesetze im Deep Learning
Wissenschaftler haben ein einheitliches, operatorbasiertes Modell entwickelt, das die Trainingsdynamik moderner neuronaler Netze aus der Perspektive der Gradientenabstiegsmethode beschreibt. Durch Anwendung der Kato‑Störungstheorie wird die exakte Funktionsentwicklung in gekoppelte Modellen umgewandelt, die anschließend zu einer spektroskopischen Transport‑ und Dämpfungsgleichung führen.
Die resultierende partielle Differentialgleichung zeigt, dass die Eigenbasis der Netzwerkgewichte während des Trainings driftet und die Spektralstruktur einer asymptotischen Potenzlaw folgt. In einem schwach gekoppeltem Regime, das durch spektrale Lokalität und SGD‑Rauschen entsteht, besitzt die Gleichung selbstähnliche Lösungen, die eine klare Auflösungsschwelle, polynomielle Amplitudenentwicklung und Potenzlaw‑Dämpfung vorgeben.
Diese analytische Struktur liefert explizite Skalierungsexponenten, erklärt das Phänomen des „Double Descent“ und zeigt, dass die effektive Trainingszeit einer Potenzlaw‑Form folgt. Zudem demonstriert die Arbeit, dass sowohl das NTK‑Lazy‑Training als auch die Feature‑Learning‑Dynamik als Grenzfälle derselben PDE auftreten – bei Null‑Drift entsteht das Lazy‑Verhalten, bei nicht‑Null‑Drift entstehen Repräsentationsänderungen.
Das Ergebnis bietet einen einheitlichen spektralen Rahmen, der die Geometrie von Operatoren, Optimierungsdynamiken und universelle Skalierungsverhalten in Deep‑Learning‑Modellen miteinander verbindet.