Dion2: Neue Methode zur Matrixkompression im Muon-Optimierer

Der jüngste Beitrag auf arXiv (2512.16928v1) stellt Dion2 vor – eine vereinfachte Technik, die die Matrixgröße im Muon-Optimierer drastisch reduziert. Muon ist für seine starke empirische Leistung und solide theoretische Basis bekannt, doch die orthonormale Auflösung der Matrix verursacht bei wachsender Problemgröße einen superlinearen Kostenanstieg.

Dion2 greift hier an, indem es in jeder Iteration zufällig einen Bruchteil der Zeilen oder Spalten auswählt und nur diese Teilmatrix orthonormiert. Durch diese Stichprobenstrategie wird die Aktualisierung spärlich, was sowohl die Rechen- als auch die Kommunikationskosten senkt. Das Ergebnis ist eine deutlich verbesserte Skalierbarkeit des Optimierers, ohne die Genauigkeit oder die theoretische Fundierung zu beeinträchtigen.

Mit Dion2 wird die bisher komplexe Matrixkompression zu einer leicht umsetzbaren, sparsamen Alternative, die Muon für große Datensätze noch leistungsfähiger macht.