SD-MoE: Spektrale Trennung steigert Experten-Spezialisierung in Sprachmodellen

Ein neues arXiv-Papier präsentiert SD-MoE, eine Methode, die die Spektralstruktur von Parametern und Gradienten nutzt, um die Effektivität von Mixture-of-Experts (MoE)-Architekturen zu erhöhen. Durch die gezielte Trennung dominanter Spektralkomponenten wird die oft beobachtete Überlappung zwischen Experten reduziert und die eigentliche Spezialisierung gefördert.

Traditionell skalieren MoE-Modelle große Sprachmodelle, indem sie Eingaben bedingt an spezialisierte Experten weiterleiten. In der Praxis führt dies jedoch häufig zu einer ungleichen Verteilung: Einige Experten werden funktional identisch, während andere als „gemeinsame“ Experten fungieren. Diese Homogenität begrenzt die Gesamtkapazität und die Leistung des Modells.

Die Autoren untersuchten die Parameter- und Gradientenräume aus spektraler Sicht und fanden heraus, dass Experten stark überlappende dominante Spektralkomponenten besitzen. Zudem sind die dominanten Gradientenräume zwischen Experten stark ausgerichtet, was auf eine weit verbreitete Low‑Rank-Struktur in menschlichen Textkorpora zurückzuführen ist. Die Gating‑Mechanismen leiten die Eingaben bevorzugt entlang dieser dominanten Richtungen, was die Spezialisierung weiter einschränkt.

SD-MoE löst dieses Problem, indem es sowohl Parameter als auch Gradienten im Spektralraum zerlegt. Diese spektrale Entkopplung ermöglicht es, dass jeder Experte einzigartige, nicht überlappende Komponenten nutzt, wodurch die Spezialisierung deutlich verbessert wird. Die Methode führt zu einer Leistungssteigerung bei einer Vielzahl von Downstream‑Aufgaben, verursacht nur minimale zusätzliche Rechenkosten und lässt sich nahtlos in bestehende MoE‑Architekturen wie Qwen und DeepSeek integrieren.