Schedule-Free: Theorie erweitert – Optimale Lernraten für beliebige Scheduler
Eine neue Veröffentlichung auf arXiv erweitert die theoretische Basis des bislang beliebten Schedule‑Free-Ansatzes. Während die ursprüngliche Theorie nur einen konstanten Lernratenwert zuließ, zeigen die Autoren, wie die letzte‑Iterat-Konvergenz auch bei beliebigen Scheduler‑Strategien bewiesen werden kann. Dabei wird das notwendige Update des Averaging‑Parameters als Funktion der Lernrate klar definiert.
