Effizienzsteigerung bei Mixture-of-Experts durch Gewicht- und Daten‑Sparsity

In einem neuen Beitrag auf arXiv wird gezeigt, wie Mixture-of-Experts‑Schichten die Rechenleistung durch Gewichtssparsity schon optimieren – jedes Token aktiviert lediglich einen Teil der Experten. Durch die zusätzliche Dimension der Daten‑Sparsity, bei der jeder Experte nur einen Teil der Tokens verarbeitet, lässt sich die Effizienz weiter steigern.

Die klassische Expert‑Choice‑Routing‑Methode erreicht Daten‑Sparsity, stößt jedoch bei autoregressiven Modellen auf ein Problem: Sie verletzt die Kausalität, was zu einem Trainings‑Inference‑Mismatch führt. Die Autoren lösen dieses Dilemma, indem sie „Null‑Experten“ in den Routing‑Pool einführen. Wenn ein Token zu einem Null‑Experten geleitet wird, verbraucht dieser Slot keine Rechenleistung. Durch ein standardmäßiges Load‑Balancing‑Ziel wird das Modell darauf trainiert, alle Experten – real und Null – gleichmäßig zu nutzen, wodurch Daten‑Sparsity ohne Kausalitätsverletzungen entsteht.

Die Methode wurde auf ein vision‑Language‑Training angewendet, bei dem die Datenheterogenität besonders ausgeprägt ist: Vision‑Encoder erzeugen viele Tokens mit wenig Information, während Text‑Tokens dichter sind. Bei gleichbleibenden erwarteten FLOPs liefert die Kombination aus Gewicht‑ und Daten‑Sparsity eine deutlich effizientere Trainingskurve als Gewicht‑Sparsity allein. Das Ergebnis sind niedrigere Trainingsverluste und verbesserte Leistungen in nachgelagerten Aufgaben. Das Modell lernt dabei implizit, Modality‑aware zu routen – Vision‑Tokens werden stärker zu Null‑Experten geleitet als Text‑Tokens, ohne dass explizite Modality‑Routing‑Mechanismen nötig sind.