Stabiler Optimizer: Momentum‑basierte NGN‑Schrittgröße verbessert Hyperparameter‑Robustheit

In der heutigen KI‑Forschung sind Optimierungsalgorithmen, die Momentum und adaptive Schrittgrößen kombinieren, ein entscheidender Erfolgsfaktor. Ihre Leistung hängt jedoch stark von der Wahl der Hyperparameter ab – insbesondere der Schrittgröße. Das Feintuning dieser Parameter ist oft aufwendig, ressourcenintensiv und zeitaufwendig.

Um diese Schwäche zu beheben, präsentiert ein neues Verfahren namens NGN‑M (Momentum‑basierte NGN‑Schrittgröße) eine robuste Alternative. Das Verfahren nutzt die NGN‑Schrittgrößenmethode und integriert Momentum, wodurch die Konvergenzrate von O(1/√K) unter deutlich weniger restriktiven Voraussetzungen erreicht wird. Im Gegensatz zu früheren Ansätzen benötigt NGN‑M keine Interpolationsbedingungen und setzt keine Beschränkungen für stochastische Gradienten oder Iteraten.

Experimentelle Tests zeigen, dass NGN‑M die Stabilität gegenüber der Schrittgrößenwahl erheblich steigert und gleichzeitig Leistungen liefert, die mit den führenden Optimierern gleichwertig oder sogar überlegen sind. Damit bietet NGN‑M eine vielversprechende Lösung für die effiziente und zuverlässige Optimierung komplexer Deep‑Learning‑Modelle.