Automatisierte Lernraten: Erklärbare Regime für stochastische Optimierung

Moderne Machine‑Learning‑Modelle werden meist mit stochastischem Gradientenabstieg (SGD) trainiert. Dabei ist die Art und Weise, wie die Lernrate (LR) im Verlauf des Trainings angepasst wird, entscheidend für die Geschwindigkeit und Stabilität des Lernprozesses. Traditionelle LR‑Regime sind oft kompliziert oder erfordern das manuelle Einstellen zusätzlicher Hyperparameter, was in der Praxis zu hohem Rechenaufwand, Zeit- und Energieverbrauch führt.

Die neue Studie präsentiert ein völlig automatisches Lernraten‑Regime, das ausschließlich auf der intrinsischen Variation der stochastischen Gradienten basiert. Durch den Einsatz stochastischer Second‑Order‑Algorithmen entsteht ein Verfahren, das dem Verhalten heuristischer Ansätze ähnelt, jedoch ohne jegliche Parameteranpassung auskommt. Die Lernrate wird dabei automatisch erhöht, wenn die Norm der Gradienten abnimmt, und verringert, wenn die Norm zunimmt.

Tests mit klassischen Algorithmen wie SGD, SGDM und SIGNSGD zeigen, dass das neue Regime nicht nur effizienter, sondern auch robuster und skalierbarer ist. Es liefert konsistente Ergebnisse über verschiedene Machine‑Learning‑Aufgaben hinweg und reduziert den Aufwand für die Hyperparameter‑Optimierung erheblich.