MoSE: Flexibles Mixture-of-Experts-Modell steigert Effizienz von Sprachmodellen

Die neueste Forschung auf arXiv (2602.06154v1) präsentiert MoSE – ein innovatives Mixture-of-Experts (MoE)-Modell, das die Leistungsfähigkeit großer Sprachmodelle durch sparsames Aktivieren von Experten verbessert und gleichzeitig die Rechenkosten reduziert. Im Gegensatz zu herkömmlichen MoE-Architekturen, bei denen ein ausgewählter Experte vollständig ausgeführt wird, besitzt jeder MoSE-Experte eine verschachtelte, „slimmable“ Struktur, die bei Bedarf in unterschiedlichen Breiten betrieben werden kann.

Durch diese Flexibilität kann MoSE nicht nur entscheiden, welche Experten aktiviert werden, sondern auch, wie viel von jedem Experten genutzt wird. Das Ergebnis ist ein einzelnes, vortrainiertes Modell, das bei der Inferenz einen kontinuierlichen Spektrum an Genauigkeit- und Rechenkosten‑Trade‑Offs bietet. Die Autoren stellen eine stabile Trainingsmethode vor, die Multi‑Width‑Training mit klassischen MoE‑Zielen kombiniert und so die Leistung der slimmable Experten sichert.

Während der Inferenz werden verschiedene Strategien zur Bestimmung der Laufzeitbreite untersucht, darunter ein leichtgewichtiges Test‑Time‑Training, das die Zuverlässigkeit des Routers nutzt, um die optimale Breite unter einem festen Budget zu bestimmen. Experimente mit GPT‑Modellen, die auf OpenWebText trainiert wurden, zeigen, dass MoSE bei voller Breite die Leistung herkömmlicher MoE‑Modelle erreicht oder übertrifft und gleichzeitig die Pareto‑Grenze für Genauigkeit versus Kosten verschiebt – mit deutlich weniger FLOPs.