Lion-Optimierer: Neue Konvergenzrate in zentralen und verteilten Systemen
In einer aktuellen Veröffentlichung auf arXiv wird die Konvergenz des Lion‑Optimierers detailliert untersucht. Unter den üblichen Annahmen erreicht der Standard‑Lion eine Rate von O(d¹ᐟ² T⁻¹ᐟ⁴), wobei d die Problemdimension und T die Iterationszahl bezeichnet. Durch die Einführung einer Varianz‑Reduktion verbessert sich die Rate auf O(d¹ᐟ² T⁻¹ᐟ³).
Für verteilte Lernumgebungen liefert die Analyse, dass der klassische Lion mit O(d¹ᐟ² (nT)⁻¹ᐟ⁴) und die varianzreduzierte Variante mit O(d¹ᐟ² (nT)⁻¹ᐟ³) konvergiert, wobei n die Anzahl der Knoten ist.
Ein weiterer Schwerpunkt liegt auf einer kommunikationseffizienten Version, die Sign‑Kompression in beiden Richtungen nutzt. Durch die Verwendung unbiasierter Sign‑Operationen erreicht dieser Ansatz Konvergenzraten von O(max{d¹ᐟ⁴/T¹ᐟ⁴, d¹ᐟ¹⁰/(n¹ᐟ⁵ T¹ᐟ⁵)}) für den Standard‑Lion und O(d¹ᐟ⁴/T¹ᐟ⁴) für die varianzreduzierte Variante.
Die Ergebnisse zeigen, dass der Lion‑Optimierer sowohl in zentralen als auch in verteilten Szenarien mit geeigneten Modifikationen sehr effiziente Konvergenzverhalten aufweist und damit ein vielversprechendes Werkzeug für moderne Optimierungsaufgaben darstellt.