Mixture-of-Experts: Hyperparameter-Transfer für skalierbare Transformer

Mixture-of-Experts (MoE)-Schichten haben sich als Schlüsseltechnologie etabliert, um moderne neuronale Netzwerke zu skalieren. Sie trennen die Gesamtzahl der trainierbaren Parameter von den tatsächlich aktivierten Parametern pro Token und ermöglichen so eine enorme Effizienzsteigerung.

Bei sparsamen MoEs entstehen jedoch zusätzliche Komplexitäten: neue trainierbare Routergewichte erfordern eigene Hyperparameter‑Tuning‑Strategien, und die architektonischen Dimensionen – Anzahl und Größe der Experten – müssen sorgfältig gewählt und oft vergrößert werden.

Um die Auswahl dieser Hyperparameter kostengünstig und zuverlässig zu gestalten, schlägt die Studie eine neue Parameterisierung für Transformer‑Modelle mit MoE‑Schichten vor. Diese Parameterisierung berücksichtigt gleichzeitig Breite, Tiefe, Expertenanzahl und Experten‑Größe und wird durch eine dynamische Mittelwertfeld‑Analyse (DMFT) theoretisch untermauert.

Experimentell zeigt sich, dass die vorgeschlagene Parameterisierung eine stabile Hyperparameter‑Transfer‑Möglichkeit über Modelle von 51 M bis über 2 B Gesamtparametern hinweg ermöglicht. Durch das Sweeping kleiner Modelle auf kurzen Token‑Horizonten lassen sich Hyperparameter identifizieren, die anschließend auf größere Modelle mit längeren Token‑Horizonten übertragen werden, ohne die Leistung zu beeinträchtigen.

Diese Erkenntnisse bieten einen praktischen Leitfaden für Entwickler, die MoE‑basierte Transformer skalieren wollen, und demonstrieren, dass gezieltes Hyperparameter‑Transfer die Effizienz und Performance signifikant steigern kann.