Scharfe Minima können generalisieren: Neue Erkenntnisse zur Verlustlandschaft

Eine aktuelle Studie auf arXiv (2511.04808v1) liefert spannende Einblicke in die Rolle von Datenmengen für die Generalisierung von Deep‑Learning‑Modellen. Die sogenannte Volume‑Hypothese besagt, dass tiefe Netzwerke besonders gut funktionieren, weil sie tendenziell flache Minima finden – Minima mit großen Volumina, die laut Theorie gut generalisieren.

Die neue Arbeit zeigt jedoch, dass diese Sichtweise nicht die Wirkung großer Datensätze vollständig erklärt. Durch Messungen der Volumina von Minima bei unterschiedlichen Trainingsdatengrößen wurde entdeckt, dass scharfe Minima, die ebenfalls eine gute Generalisierung aufweisen, existieren. Diese Minima sind jedoch sehr klein und daher bei üblichen Optimierungsverfahren schwer zu finden.

Interessanterweise verändert ein Zuwachs an Trainingsdaten die Verlustlandschaft selbst. Was zuvor ein kleines, scharfes Minimum war, wird mit mehr Daten relativ größer. Dadurch steigt die Wahrscheinlichkeit, dass Optimierer solch scharfe, generalisierende Minima erreichen. Diese Erkenntnis erweitert das Verständnis dafür, warum umfangreiche Datensätze die Leistungsfähigkeit von neuronalen Netzen so stark verbessern.