MixtureKit: Neues Open-Source-Framework für modulare Mixture-of-Experts-Modelle

Mit MixtureKit erhält die Forschung ein vielseitiges, quelloffenes Tool, das die Erstellung, das Training und die Analyse von Mixture-of-Experts (MoE)-Modellen aus beliebigen vortrainierten oder feinabgestimmten Modellen ermöglicht. Das Framework unterstützt drei ergänzende Ansätze: die klassische MoE-Architektur, bei der ein einzelner Router pro Transformer‑Block die Experten auswählt; BTX (Branch‑Train‑Mix), das separate Router für jede Unterebene einführt und so eine feingranulare Token‑Weiterleitung erlaubt; sowie BTS (Branch‑Train‑Stitch), bei dem die Experten unverändert bleiben und lernbare Stitch‑Schichten für einen kontrollierten Informationsaustausch zwischen Hub und Experten sorgen.

MixtureKit passt automatisch die Modellkonfiguration an, patcht Decoder‑ und Causal‑LM‑Klassen und erzeugt einen einheitlichen Checkpoint, der sofort für Inferenz oder weiteres Feintuning bereitsteht. Zusätzlich bietet das Tool eine Visualisierungsoberfläche, mit der man tokenweise Routing‑Entscheidungen, Expertengewichtsverteilungen und schichtweise Beiträge nachvollziehen kann.

In Experimenten mit mehrsprachigen, code‑switching‑Reichen (z. B. Arabisch‑Latein) zeigte ein BTX‑basiertes Modell, das mit MixtureKit trainiert wurde, eine bessere Leistung als herkömmliche dichte Modelle auf mehreren Benchmarks. Durch die Veröffentlichung von MixtureKit schafft die Entwicklergemeinschaft eine solide Basis für die Weiterentwicklung von MoE‑basierten Systemen in verschiedensten Anwendungsbereichen.