Dion2: Neue Methode zur Matrixkompression im Muon-Optimierer
Der jüngste Beitrag auf arXiv (2512.16928v1) stellt Dion2 vor – eine vereinfachte Technik, die die Matrixgröße im Muon-Optimierer drastisch reduziert. Muon ist für seine starke empirische Leistung und solide theoretische Basis bekannt, doch die orthonormale Auflösung der Matrix verursacht bei wachsender Problemgröße einen superlinearen Kostenanstieg.
