SGD enthüllt: Wie Rauschen die Feature‑Lernphase in Deep Linear Networks steuert

In einer neuen Studie auf arXiv wird gezeigt, dass das Rauschen von Stochastic Gradient Descent (SGD) wichtige Hinweise auf den Lernfortschritt von Merkmalen in Deep Linear Networks (DLNs) liefert, ohne die grundlegende saddle‑to‑saddle Dynamik zu verändern. DLNs dienen als analytisch handhabbare Modelle, um das Verhalten tiefer neuronaler Netze zu untersuchen.

Die Forscher modellierten den Trainingsprozess als stochastische Langevin‑Dynamik mit anisotropem, zustandsabhängigem Rauschen. Unter der Annahme ausgerichteter und ausgeglichener Gewichte gelang es ihnen, die Dynamik exakt in eine Reihe eindimensionaler stochastischer Differentialgleichungen pro Modus zu zerlegen. Diese Analyse zeigte, dass die maximale Diffusion entlang eines Modus immer vor dem vollständigen Lernen des zugehörigen Merkmals auftritt.

Weiterhin ermittelten die Autoren die stationäre Verteilung von SGD für jeden Modus. Ohne Label‑Rauschen entspricht die marginale Verteilung entlang bestimmter Merkmale der stationären Verteilung des deterministischen Gradient Flows. Mit Label‑Rauschen nähert sie sich einer Boltzmann‑Verteilung an. Experimentelle Tests bestätigten, dass die theoretischen Ergebnisse auch dann gelten, wenn die Gewichte nicht exakt ausgerichtet oder ausgeglichen sind.

Die Ergebnisse verdeutlichen, dass das Rauschen von SGD zwar Informationen über den Lernfortschritt liefert, die eigentliche saddle‑to‑saddle Bewegung jedoch unverändert bleibt. Diese Erkenntnisse liefern neue Einblicke in die Rolle von Rauschen bei der Optimierung tiefer neuronaler Netze.