SGD sucht nicht nach Flachheit – Daten bestimmen die Schärfe

Ein neues arXiv‑Veröffentlichung (2602.05065v1) beleuchtet die lange diskutierte Frage, ob der klassische Stochastic Gradient Descent (SGD) während des Trainings lieber flache oder scharfe Minima findet. Die Autoren präsentieren ein exakt lösbares Modell, das beiden Verhaltensweisen – Flachheit und Schärfe – gleichzeitig Raum gibt und damit die bisher widersprüchlichen Befunde aufklärt.

Der zentrale Befund lautet: SGD hat keine a priori‑präferierte Neigung zu flachen Lösungen. Stattdessen strebt der Optimierer nach minimalen Gradientenschwankungen. Dadurch wird die endgültige Schärfe des Minimums ausschließlich durch die Verteilung der Daten bestimmt. In dem Modell zeigt sich, dass ein flaches Minimum nur dann bevorzugt wird, wenn das Rauschen in den Labels in allen Ausgabedimensionen isotrop ist.

Ist das Label‑Rauschen anisotrop, also ungleichmäßig verteilt, tendiert das Modell zu scharfen Minima. In extremen Fällen kann die Schärfe beliebig groß werden, abhängig von der Ungleichheit im Rauschspektrum. Diese theoretische Einsicht legt nahe, dass die Struktur der Trainingsdaten – nicht der Optimierer selbst – die endgültige Form des Verlustlandschapes bestimmt.

Die Autoren haben die Theorie in kontrollierten Experimenten mit verschiedenen Architekturen überprüft: Mehrschichtige Perzeptronen (MLP), rekurrente neuronale Netze (RNN) und Transformer‑Modelle. In allen Fällen bestätigten die Resultate die Vorhersagen des Modells und unterstreichen die Bedeutung der Datenverteilung für die Lerndynamik von SGD.