Adaptive Lernratenplanung nach Verluständerungen beschleunigt Konvergenz

In einer neuen Studie aus dem arXiv-Repository wird der Scheduler GreedyLR vorgestellt, der die Lernrate während des Trainings dynamisch an die aktuellen Verluständerungen anpasst. Im Gegensatz zu den weit verbreiteten Cosine- oder exponentiellen Decay‑Strategien reagiert GreedyLR unmittelbar auf die Lernkurve und kann so die Konvergenzgeschwindigkeit signifikant erhöhen.

Die Autoren liefern eine umfassende theoretische Analyse, die nicht nur die Konvergenz des Algorithmus beweist, sondern auch den optimalen Skalierungsfaktor F bestimmt, der die Konvergenzrate maximiert. Zusätzlich zeigen Experimente, dass GreedyLR robust gegenüber realistischen, verrauschten Lernlandschaften bleibt.

Die Leistungsfähigkeit von GreedyLR wurde an einer Vielzahl von Aufgaben getestet – von NLP‑ und Computer‑Vision‑Modellen bis hin zu großen Sprachmodellen mit bis zu 7 Billionen Parametern. In Fine‑Tuning‑ und Pre‑Training‑Szenarien übertrifft GreedyLR mehrere aktuelle Scheduler sowohl in Bezug auf Genauigkeit als auch auf Trainingsgeschwindigkeit und Konvergenzzeit.

Ein weiterer Pluspunkt ist die einfache Implementierung und die geringe Rechenbelastung. GreedyLR kann daher als praktikable Standard‑Option für das Training moderner Modelle betrachtet werden.