Neuer Skalierungsgesetz für Lernrate und Verlust in Deep Learning
Deep Learning arbeitet mit einem nicht-konvexen Verlustlandscape, doch die Optimierungsdynamik zeigt sich empirisch konvexartig. In dieser Arbeit wird untersucht, wie Konvexität und Lipschitz‑Stetigkeit genutzt werden können, um die Verlustentwicklung durch Lernratenpläne präzise zu steuern.
