Matrix-Preconditionierte Optimierer liefern stabile Geschwindigkeitsvorteile Skalierung

In jüngster Zeit haben Optimierer, die Matrix‑Preconditioning einsetzen, vielversprechende Beschleunigungen gegenüber dem derzeit dominanten AdamW gezeigt – vor allem in kleineren Experimenten. Die Reproduzierbarkeit dieser Ergebnisse blieb jedoch uneinheitlich, sodass die Frage offen blieb, ob die Vorteile auch bei größeren Modellen erhalten bleiben.

Um dies zu klären, haben die Forscher die Skalierung von Preconditioned‑Optimierern mittels Hyperparameter‑Transfer untersucht. Dabei stützten sie sich auf das Konzept von μP und analysierten, wie Lernrate und Gewichtsdämpfung mit Modellbreite und -tiefe für Optimierer wie Shampoo, SOAP und Muon variieren. Zusätzlich wurden gängige Techniken wie Blocking und Grafting berücksichtigt.

Die Ergebnisse zeigen, dass die Lernrate nach μP zwar die Übertragbarkeit verbessert, aber immer noch durch finite‑Width‑Abweichungen beeinflusst wird, die zu einem Drift der optimalen Lernrate führen. Dieser Drift lässt sich jedoch durch Blocking und explizite Spektral‑Normalisierung deutlich reduzieren. Für die optimale Skalierung der Gewichtsdämpfung erwiesen sich Regelungen in Form von 1/Width als nahezu universell geeignet.

Wendet man diese Skalierungsregeln an, erzielen Muon und Shampoo konsistente Geschwindigkeitsgewinne von 1,4‑ bzw. 1,3‑fach gegenüber AdamW beim Training von Llama‑Architektur‑Modellen zwischen 190 M und 1,4 B Parametern. Unter falscher Skalierung verschwinden die Vorteile jedoch schnell.

Die Studie unterstreicht, dass ein sorgfältiger Hyperparameter‑Transfer entscheidend ist, um die Leistungssteigerungen von matrix‑preconditionierten Optimierern zuverlässig zu skalieren. Mit den richtigen Regeln lassen sich diese Optimierer nun konsistent in großen Modellen einsetzen.