MultiPL-MoE: Sprachübergreifende Programmierung mit hybriden Experten für LLMs

Die neuesten Fortschritte im Bereich der großen Sprachmodelle (LLMs) zeigen, dass sie Code hervorragend generieren können – doch die Erstellung von Code in mehreren Programmiersprachen bleibt eine große Herausforderung. Um dieses Problem anzugehen, hat ein Forschungsteam die MultiPL-MoE‑Architektur entwickelt, die die Mehrsprachigkeit von Programmiercode verbessert, ohne die beliebtesten Modelle zu vernachlässigen und dabei nur begrenzte Rechenressourcen zu nutzen.

MultiPL steht für „Multi‑Programming‑Lingual“ und wird als spezieller Fall mehrerer natürlicher Sprachen betrachtet. Die MultiPL‑MoE‑Erweiterung kombiniert zwei miteinander verbundene Mixture‑of‑Experts (MoE) – eine auf Token‑Ebene und eine auf Segment‑Ebene. Der Token‑Level‑MoE nutzt ein standardmäßiges Upcycling‑Modell mit einem gemeinsamen Experten und einer neuen Normalisierung der Gate‑Gewichte, die die finale Fusion mit dem Segment‑Level‑MoE erleichtert.

Der Segment‑Level‑MoE integriert zwei innovative Ansätze, um die syntaktische Struktur und die kontextuellen Muster von Programmiersprachen besser zu erfassen. Erstens wird die Eingabe in mehrere Segmente aufgeteilt, indem ein gleitendes Fenster verwendet wird. Anschließend wählt ein Expert‑Choice‑Routing‑Verfahren die Top‑k‑Segmente aus, die von den Experten verarbeitet werden. Diese Kombination ermöglicht eine präzisere und effizientere Modellierung von Code in verschiedenen Sprachen.

Experimentelle Ergebnisse bestätigen die Wirksamkeit der MultiPL‑MoE‑Architektur. Sie demonstriert, dass hybride Mixture‑of‑Experts die Mehrsprachigkeit von Programmiercode signifikant verbessern können, während gleichzeitig die Leistungsfähigkeit der Basis‑LLMs erhalten bleibt. Diese Entwicklung eröffnet neue Perspektiven für die Entwicklung von Sprachmodellen, die sowohl sprachlich als auch programmatisch vielseitig sind.