GrMoE: Neue Routing‑Methode für Mixture‑of‑Experts mit kontrollierter Sparsität

Mixture‑of‑Experts‑Modelle setzen auf Router, um Tokens an Experten zu verteilen. Die gängige Softmax‑Gating‑Methode bietet jedoch keine klare Möglichkeit, die Balance zwischen Sparsität und Auslastung zu steuern. Mit dem neuen Ansatz Grassmannian MoE (GrMoE) wird dieses Problem elegant gelöst.

GrMoE arbeitet auf der Grassmannischen Mannigfaltigkeit von Unterräumen. Die Gating‑Gewichte entstehen aus den Konzentrationsparametern von Matrix‑Bingham‑Verteilungen. Dadurch wird ein einzelner, leicht interpretierbarer Parameter – die Konzentrationsmatrix λ – zur Steuerung der Routing‑Entropie verwendet. Anstelle der herkömmlichen top‑k‑Auswahl entsteht so ein glatter, geometrisch fundierter Sparsitätsmechanismus.

Die Autoren entwickeln zudem eine amortisierte variationale Inferenz für die posterioren Routing‑Verteilungen, die eine Unsicherheits‑bewusste Expertenzuweisung ermöglicht und das Risiko des Experten‑Collapses reduziert. Sie beweisen formale Grenzwerte, die die Bingham‑Konzentrationsspektren mit Routing‑Entropie, erwarteter top‑k‑Masse und einer exponentiellen Schranke gegen Collapse verknüpfen – die erste formale Theorie für Konzentrations‑kontrollierte Sparsität.

In synthetischen Routing‑Aufgaben zeigen große MoE‑Sprachmodelle – 350 M, 1,3 B und 2,7 B Parameter mit 8, 16 bzw. 32 Experten – bei GrMoE einen 0 %‑Collapse‑Raten über alle Seeds hinweg. Gleichzeitig erreichen sie vergleichbare oder bessere Perplexität, 15 %–30 % verbesserte Lastverteilung und eine glatte, monotone Beziehung zwischen Konzentration und effektiver Sparsität, die eine nachträgliche Feinabstimmung ohne erneutes Training erlaubt.

Token‑level Analysen verdeutlichen, dass die Experten heterogene Muster lernen, was die Flexibilität und Effizienz von GrMoE weiter unterstreicht. Der Ansatz eröffnet neue Möglichkeiten, Mixture‑of‑Experts‑Modelle präziser und zuverlässiger zu steuern, und legt damit einen wichtigen Grundstein für zukünftige Entwicklungen im Bereich sparsamer neuronaler Architekturen.