Skalierungsargumente enthüllen Feature‑Learning und Stichprobenkomplexität
In der aktuellen Forschung zu Deep‑Learning‑Netzwerken stehen zwei zentrale Fragen im Fokus: Wie lernen Netzwerke ihre Features und welches implizite Bias entsteht in reichhaltigen Modellen? Diese Themen sind entscheidend für das Verständnis, warum tiefe Netzwerke so leistungsfähig sind.
Die meisten bestehenden Theorien beschränken sich auf Modelle mit ein oder zwei trainierbaren Schichten oder auf tief lineare Architekturen. Trotz dieser Vereinfachungen führen die Resultate zu hochdimensionalen, nichtlinearen Gleichungen, die numerisch extrem aufwendig zu lösen sind. Das macht die Analyse von Deep‑Learning‑Problemen zu einer echten Herausforderung.
Die neue Arbeit schlägt einen heuristischen Ansatz vor, der die Daten‑ und Breiten‑Skalen bestimmt, bei denen unterschiedliche Muster des Feature‑Learnings auftreten. Diese Skalierungsanalyse ist deutlich einfacher als die exakten Theorien und reproduziert die bekannten Skalierungsexponenten zuverlässig.
Darüber hinaus liefert die Studie neue Vorhersagen für komplexe Toy‑Architekturen, etwa dreischichtige nichtlineare Netzwerke und Attention‑Head‑Modelle. Damit wird der Anwendungsbereich der ersten‑Prinzipien‑Theorien für Deep Learning erweitert und neue Wege für zukünftige Untersuchungen eröffnet.