Sparsity in MoE-Modellen: Wie Expertenwissen früh stabilisiert wird
Die neue Studie von Forschern aus dem Bereich der künstlichen Intelligenz beleuchtet, wie Mixture-of-Experts (MoE)-Architekturen das Wissen während des Pre‑Trainings anders erwerben als herkömmliche dichte Modelle. Durch die Trennung von Modellkapazität und pro‑Token-Rechenaufwand können MoE-Modelle weit über die Grenzen dicker Skalierungslaws hinaus wachsen – doch bislang war unklar, wie sich diese Architektur auf die Wissensakquisition auswirkt.
Um diese Frage zu beantworten, wurde ein neuronales Attributionsmaß namens Gated‑LPI (Log‑Probability Increase) entwickelt. Dieses Verfahren zerlegt die Log‑Wahrscheinlichkeitssteigerung auf einzelne Neuronen auf und ermöglicht so eine zeitlich differenzierte Analyse der Lernfortschritte. Die Autoren verglichen die Entwicklung von MoE- und dichten Modellen über 1,2 M Trainingsschritte (etwa 5 T Tokens) bzw. 600 K Schritte (ca. 2,5 T Tokens).
Die Ergebnisse zeigen drei markante Muster: Erstens bildet ein kleiner Kern von etwa 1 % der MoE‑Neuronen über 45 % der positiven Updates ab – ein hochwirksamer Kern, der bei dichten Modellen nicht vorhanden ist. Zweitens stabilisiert sich das Wichtigkeitsprofil des MoE-Modells bereits nach weniger als 100 K Schritten, während das dichte Modell während des gesamten Trainings volatil bleibt. Drittens bleibt die Leistung bei gezieltem Maskieren der zehn wichtigsten MoE‑Aufmerksamkeitsköpfe nur um weniger als 10 % (HIT@10) beeinträchtigt, im Gegensatz zu einer Verschlechterung von über 50 % bei dichten Modellen. Diese Robustheit zeigt, dass die Sparsität ein verteiltes, nicht brüchiges Wissensspeicher‑System fördert.
Insgesamt demonstriert die Studie, dass die sparsartige Struktur von MoE-Modellen bereits früh im Training eine stabile und verteilte Rechenbasis schafft. Diese Erkenntnis schließt die Lücke zwischen sparsamen Architekturen und ihrer Interpretierbarkeit während des Trainings und legt damit einen wichtigen Grundstein für die Weiterentwicklung effizienter KI‑Modelle.