MoE-Linsen: Ein Experte reicht aus

Mixture-of-Experts‑Modelle (MoE) ermöglichen eine parameter‑effiziente Skalierung, indem sie nur wenige Experten pro Berechnung aktivieren. Trotz ihres Potenzials bleiben Optimierung von Inferenz- und Speicheraufwand sowie das Verständnis der Spezialisierung der Experten große Herausforderungen.

In einer systematischen Analyse wurden zwei ergänzende Methoden eingesetzt: die Untersuchung domänenspezifischer Routing‑Muster und ein Early‑Decoding‑Framework, das die Beiträge einzelner Experten zu den Ausgaben verfolgt. So konnte die Funktionsweise der Experten in Echtzeit nachvollzogen werden.

Die Untersuchung des DeepSeekMoE‑Modells zeigte, dass von 64 zugeordneten Experten lediglich sechs pro Layer aktiv sind, jedoch stark von wenigen spezialisierten Experten dominiert wird. Der am meisten gewichtete Experte liefert nahezu die gleiche Vorhersage wie die gesamte Ensemble‑Ausgabe. Die Token‑Routing‑Verteilung bestätigt, dass weniger als ein Drittel der Experten mehr als 50 % aller Routing‑Entscheidungen übernimmt. Die Ähnlichkeit der versteckten Zustände zwischen Einzel- und Ensemble‑Experten ist extrem hoch – in einigen Schichten erreicht die Kosinus‑Ähnlichkeit 0,95 – und die Perplexität steigt bei Verwendung eines einzigen Experten nur um etwa 5 %.

Diese Ergebnisse zeigen, dass MoE‑Modelle stark konzentrierte Expertise besitzen. Das eröffnet Möglichkeiten zur Inferenzoptimierung durch gezieltes Pruning von Experten, ohne die Modellleistung zu beeinträchtigen, und eröffnet zugleich neue Forschungsfelder zur Lokalisierung von Wissen in solchen Modellen.