SGD nutzt transienten Lernfluss, um scharfe Täler zu verlassen
Stochastische Gradientenabstiegsverfahren (SGD) bilden das Herzstück moderner Deep‑Learning‑Modelle. Trotz ihrer weiten Verbreitung bleibt unklar, warum SGD‑Training häufig zu flacheren, besser generalisierbaren Lösungen führt. In einer neuen Studie wurde die Dynamik des Lernprozesses detailliert untersucht, um die zugrunde liegenden Mechanismen zu entschlüsseln.
Die Analyse zeigte, dass SGD zunächst eine transiente Erkundungsphase durchläuft, in der die Trajektorien wiederholt scharfe Täler im Verlustlandscape verlassen und sich in flachere Regionen bewegen. Diese explorative Bewegung ist entscheidend, um nicht in lokalen Minima stecken zu bleiben.
Durch die Anwendung eines vereinfachten physikalischen Modells konnte nachgewiesen werden, dass das Rauschen von SGD das Landschaftsprofil in ein effektives Potential umgestaltet, das flache Lösungen begünstigt. Gleichzeitig wurde ein „transientes Einfrieren“ entdeckt: Mit fortschreitendem Training wachsen die Energiebarrieren zwischen den Tälern, wodurch weitere Übergänge unterdrückt und die Dynamik schließlich in einem einzigen Flachbereich gefangen wird.
Erhöht man die Rauschstärke des SGD, verzögert sich dieses Einfrieren, was die Konvergenz zu flacheren Minima verbessert. Die Ergebnisse liefern ein einheitliches physikalisches Rahmenwerk, das Lerndynamik, Verlustlandscape‑Geometrie und Generalisierung miteinander verbindet und Leitlinien für die Entwicklung effizienterer Optimierungsalgorithmen bietet.