Transformers vs Mixture of Experts: Was ist der eigentliche Unterschied?

In der Welt der künstlichen Intelligenz werden große Modelle wie ChatGPT, Gemini und Grok häufig als „Transformer“ bezeichnet. Diese Modelle basieren auf einer einheitlichen Architektur, die es ihnen ermöglicht, Text, Bilder und andere Datenformate effizient zu verarbeiten. Der Transformer nutzt dabei Selbst‑Aufmerksamkeit, um Beziehungen zwischen allen Token eines Eingabevektors zu erfassen, und ist damit das Herzstück moderner generativer KI.

Neulich taucht ein neuer Begriff in der generativen KI‑Community auf: Mixture of Experts (MoE). MoE erweitert die klassische Transformer‑Architektur, indem es mehrere spezialisierte Untermodelle – die sogenannten „Experten“ – einsetzt. Für jede Eingabe entscheidet ein Router, welcher Experte oder welche Experten aktiviert werden, sodass nur ein Teil des Netzwerks aktiv ist. Dadurch kann die Modellgröße exponentiell wachsen, ohne dass die Rechenkosten linear steigen.

Der Hauptunterschied liegt also in der Ressourcennutzung: Während ein herkömmlicher Transformer bei jeder Vorhersage alle Parameter nutzt, aktiviert MoE nur einen Bruchteil der Experten. Das führt zu einer höheren Parameter‑Effizienz und ermöglicht die Skalierung auf Milliarden von Parametern, ohne die Hardwareanforderungen unverhältnismäßig zu erhöhen. Beide Ansätze haben ihre Stärken, aber MoE bietet einen vielversprechenden Weg, die Leistungsfähigkeit großer Modelle weiter zu steigern.