Muon-Variante beschleunigt LLM-Vortraining durch variancengesteuertes Momentum

Die neuesten Forschungsergebnisse zeigen, dass die Optimierungsstrategie Muon die Vortrainingsphase großer Sprachmodelle deutlich beschleunigt. Durch orthogonale Momentum-Updates, die einer Matrix-Variante des elementweisen Signoperators entsprechen, kann Muon die Rechenlast reduzieren und gleichzeitig die Lernrate stabilisieren.

In diesem Zusammenhang wurden zwei neue Varianten entwickelt: Muon‑NSR, das die Momentum-Komponenten mit einem Noise‑to‑Signal‑Ratio‑Modulator anpasst, und Muon‑VS, das eine variancengestützte Skalierung ohne zusätzliche Hyperparameter nutzt. Beide Ansätze bauen auf der Erkenntnis auf, dass Adam bereits ein variancengesteuertes Signupdate ist, und erweitern diese Idee um eine gezielte Normalisierung vor der Orthogonalisation.

Experimentelle Tests auf GPT‑2 und LLaMA haben gezeigt, dass Muon‑NSR und Muon‑VS die Konvergenz beschleunigen und bei jedem Modell eine niedrigere Validierungsfehlerquote erzielen als die gut abgestimmten Baselines AdamW und Muon. Besonders bei LLaMA‑1.2B konnten die neuen Varianten die benötigten Iterationen um 36 % reduzieren, was einen erheblichen Effizienzgewinn bedeutet.