Muon+ verbessert Muon-Optimierer durch zusätzliche Normalisierung
Der Muon-Optimierer hat bereits bei der Vortrainierung großer Sprachmodelle vielversprechende Ergebnisse erzielt, indem er Gradienten (oder Momentum) orthogonalisiert. In der aktuellen Veröffentlichung wird Muon+ vorges…
- Der Muon-Optimierer hat bereits bei der Vortrainierung großer Sprachmodelle vielversprechende Ergebnisse erzielt, indem er Gradienten (oder Momentum) orthogonalisiert.
- In der aktuellen Veröffentlichung wird Muon+ vorgestellt, das diesen Ansatz um einen weiteren Normalisierungsschritt erweitert.
- Muon+ führt nach der Orthogonalisation eine zusätzliche Normalisierung ein, die die Stabilität der Lernschritte erhöht und die Optimierung effizienter gestaltet.
Der Muon-Optimierer hat bereits bei der Vortrainierung großer Sprachmodelle vielversprechende Ergebnisse erzielt, indem er Gradienten (oder Momentum) orthogonalisiert. In der aktuellen Veröffentlichung wird Muon+ vorgestellt, das diesen Ansatz um einen weiteren Normalisierungsschritt erweitert.
Muon+ führt nach der Orthogonalisation eine zusätzliche Normalisierung ein, die die Stabilität der Lernschritte erhöht und die Optimierung effizienter gestaltet. Durch diese Ergänzung wird die Lernrate besser ausbalanciert, ohne die Vorteile der ursprünglichen Orthogonalisation zu verlieren.
Die Autoren haben Muon+ an einer breiten Palette von Modellen getestet: GPT‑Stil‑Modelle mit 130 M bis 774 M Parametern und LLaMA‑Stil‑Modelle mit 60 M bis 1 B Parametern. Die Experimente wurden im compute‑optimalen Trainingsmodus durchgeführt, wobei das Token‑zu‑Parameter‑Verhältnis auf etwa 200 skaliert wurde – ein Wert, der in industriellen Anwendungen üblich ist.
Die Ergebnisse zeigen, dass Muon+ die Trainings‑ und Validierungs‑Perplexität gegenüber dem ursprünglichen Muon-Optimierer konsequent senkt. Der zusätzliche Normalisierungsschritt führt zu einer stabileren Lernkurve und einer besseren Modellleistung über alle getesteten Skalen hinweg.
Der komplette Code zur Implementierung von Muon+ ist auf GitHub verfügbar: https://github.com/K1seki221/MuonPlus.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.