Muon²: Schnellere Optimierung großer Modelle durch adaptives Preconditioning

In der Welt des maschinellen Lernens hat sich der Optimierer Muon als vielversprechende Lösung für das Pre‑Training großer Basismodelle etabliert. Durch die Ausnutzung der Matrixstruktur neuronaler Netzwerkupdates und die iterative Orthogonalisierung erzielt Muon beeindruckende Fortschritte. Doch die Notwendigkeit mehrerer Newton–Schulz‑Iteration pro Optimierungsschritt führt zu erheblichem Rechen- und Kommunikationsaufwand.

Mit der Einführung von Muon² wird dieses Problem adressiert: Der neue Ansatz kombiniert Muon mit einer Adam‑ähnlichen adaptiven Second‑Moment‑Preconditioning‑Schicht, die vor der Orthogonalisierung angewendet wird. Dadurch wird die schlecht konditionierte Momentum‑Matrix deutlich stabilisiert, was die Spektralverteilung verbessert und die Polar‑Approximation beschleunigt.

Die Qualität der Orthogonalisierung wird anhand der Richtungsangleichung gemessen. Muon² zeigt bei jedem Polar‑Schritt eine dramatische Verbesserung gegenüber dem ursprünglichen Muon. In umfangreichen Pre‑Training‑Experimenten mit GPT‑ und LLaMA‑Modellen – von 60 M bis 1,3 B Parametern – übertrifft Muon² nicht nur Muon, sondern auch neuere Varianten, während die Anzahl der Newton–Schulz‑Iteration um 40 % reduziert wird.

Zusätzlich wurde Muon²‑F entwickelt, eine speichereffiziente, faktorisierte Variante, die die meisten Vorteile von Muon² beibehält, jedoch mit nahezu vernachlässigbarem Speicheraufwand. Diese Innovationen machen Muon² zu einer attraktiven Option für das Training hochdimensionaler Modelle, indem sie Geschwindigkeit, Effizienz und Ressourcenverbrauch signifikant verbessern.