HB‑SGE: Robustes Heavy‑Ball‑Momentum mit vorausschauender Extrapolation

Ein neues Optimierungsverfahren, HB‑SGE, kombiniert das klassische Heavy‑Ball‑Momentum mit einer vorausschauenden Gradientenextrapolation. Durch die Nutzung lokaler Taylor‑Annäherungen schätzt HB‑SGE zukünftige Richtungen des Gradienten, was eine adaptive Beschleunigung ermöglicht, ohne die Stabilität zu gefährden.

Im Gegensatz zu herkömmlichen Momentum‑Methoden, die sich auf die Akkumulation historischer Gradienten stützen, liefert HB‑SGE robuste Konvergenz­garantien für stark konvexe Funktionen. Empirische Tests zeigen, dass HB‑SGE bei schlecht konditionierten Quadraten (Konditionszahl κ = 50) in 119 Iterationen konvergiert, während SGD und NAG divergieren. Auf dem nicht‑konvexen Rosenbrock‑Funktionslandscape erreicht HB‑SGE in 2 718 Iterationen Konvergenz, während klassische Momentum‑Methoden bereits nach 10 Schritten scheitern.

Während NAG bei gut konditionierten Problemen schneller ist, bietet HB‑SGE eine robuste Alternative, die in vielfältigen Landschaften eine Beschleunigung gegenüber SGD erzielt. Das Verfahren benötigt lediglich O(d) Speicher und nutzt dieselben Hyperparameter wie Standard‑Momentum, wodurch es sich nahtlos in bestehende Workflows integrieren lässt.