Optimale Sparsity von Mixture-of-Experts-Modellen verbessert Rechenaufgaben

Die neuesten Erkenntnisse aus der Studie „Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks“ zeigen, dass die Art und Weise, wie die Sparsity in Mixture-of-Experts (MoE)-Modellen gesteuert wird, entscheidend für die Leistungsfähigkeit bei Rechenaufgaben ist. Während die klassischen Skalierungsregeln für große Sprachmodelle (LLMs) die Entwicklung von immer größeren Modellen vorantreiben, vernachlässigen sie bislang die zusätzliche Sparsity‑Dimension, die MoE-Architekturen mitbringen.

Um die Auswirkungen der Sparsity auf zwei unterschiedliche Fähigkeitsbereiche – Memorierung und Rechnen – zu untersuchen, wurden gezielt Familien von MoE‑Transformern trainiert. Dabei wurden die Gesamtparameter, die aktiv genutzten Parameter und die Top‑k‑Routing‑Strategie systematisch variiert, während das Rechenbudget konstant gehalten wurde. Für jedes Modell wurden Pre‑Training‑Verluste, Downstream‑Task‑Verluste und die jeweilige Task‑Genauigkeit erfasst, sodass die Lücke zwischen Trainings- und Test‑Generalisation sowie die Lücke zwischen Verlust und Genauigkeit getrennt analysiert werden konnten.

Die Ergebnisse sind eindeutig: Bei Memorierungsaufgaben steigt die Leistung monoton mit der Gesamtzahl der Parameter, was die Verbesserung des Trainingsverlustes widerspiegelt. Bei Rechenaufgaben hingegen erreicht die Leistung ein Sättigungsniveau und kann sogar zurückgehen, obwohl sowohl die Gesamtparameter als auch der Trainingsverlust weiter zunehmen. Eine alleinige Veränderung der Top‑k‑Parameter hat kaum Einfluss, wenn die aktiven Parameter konstant bleiben. Klassische Hyperparameter wie Lernrate und Initialisierung verschieben die Generalisationslücke in dieselbe Richtung wie die Sparsity. Auch nachträgliches Reinforcement‑Learning (GRPO) oder zusätzlicher Test‑Zeit‑Rechenleistung konnten die Schwächen übermäßig sparsiger Modelle nicht beheben.

Alle Modell‑Checkpoints, der zugehörige Code und die Trainingsprotokolle sind offen zugänglich unter https://github.com/rioyokotalab/optimal-sparsity. Diese Ressourcen ermöglichen es Forschern, die optimale Sparsity für ihre eigenen Rechenaufgaben zu bestimmen und die Grenzen der aktuellen MoE‑Architekturen weiter zu verschieben.