Normalisierung statt Clipping: Warum SGD bei stark schiefem Rauschen konvergiert

Eine neue theoretische Analyse zeigt, warum die Normalisierung bei stochastisch vorgefertigtem Stochastic Gradient Descent (SPSGD) – und seinen beschleunigten Varianten – in Gegenwart starker, schief gearteter Rauschverteilungen die bessere Wahl ist.

Die Studie betrachtet ein Szenario, in dem das Rauschen der Gradienten nur ein endliches \(p\)-tes Moment besitzt, wobei \(p\) zwischen 1 und 2 liegt. Für diese Klasse von Problemen werden Worst‑Case‑Komplexitätsgrenzen für die Konvergenz nach \(T\) Iterationen ermittelt.

Erstaunlicherweise garantiert die Normalisierung eine Konvergenz zu einem ersten‑Ordnung‑Stationärpunkt mit der Rate \(\mathcal{O}\!\left(T^{-\frac{p-1}{3p-2}}\right)\), wenn die Problemparameter bekannt sind, und \(\mathcal{O}\!\left(T^{-\frac{p-1}{2p}}\right)\), wenn sie unbekannt sind. Diese Raten entsprechen den optimalen Ergebnissen für normalisierten SGD. Im Gegensatz dazu kann Clipping im Worst‑Case nicht konvergieren, weil die statistische Abhängigkeit zwischen dem stochastischen Preconditioner und den Gradienten­schätzungen die Stabilität untergräbt.

Zur Beweisführung wurde eine neuartige, vektor‑wertige Burkholder‑Art‑Ungleichung entwickelt, die selbst für andere Untersuchungen von Interesse sein könnte.

Die Ergebnisse liefern eine solide theoretische Grundlage für die beobachtete Präferenz der Normalisierung gegenüber Clipping in groß angelegten Trainingsaufgaben und bestärken die Nutzung adaptiver Optimierer wie Adam, RMSProp und Shampoo in Umgebungen mit stark schiefen Rauschverteilungen.