Mischen oder Zusammenführen: Multi-Domain-Reinforcement-Learning für Sprachmodelle

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich als Schlüsseltechnologie erwiesen, um die explizite Denkfähigkeit großer Sprachmodelle (LLMs) zu stärken. In Bereichen wie Programmieren oder Mathematik können damit bereits Expertenleistungen erzielt werden.

Wenn jedoch ein LLM benötigt wird, das in mehreren Fachgebieten gleichzeitig auf Expertenniveau agiert, stellt sich die Frage, wie die RLVR-Strategien verschiedener Domänen optimal zusammenarbeiten lassen.

Derzeit setzen führende Modelle auf zwei unterschiedliche Trainingsparadigmen: entweder ein gemischtes Multi‑Task‑RLVR oder ein getrenntes RLVR gefolgt von einer Modellfusion. Bisher fehlt jedoch eine detaillierte Gegenüberstellung dieser Ansätze.

Um diese Lücke zu schließen, haben die Forscher vier zentrale Aufgaben – Mathematik, Programmieren, Naturwissenschaften und Anweisungsbefolgung – ausgewählt und umfangreiche qualitative sowie quantitative Experimente mit Open‑Source‑Datensätzen durchgeführt.

Die Ergebnisse zeigen, dass die RLVR‑Kombination über die Domänen hinweg kaum gegenseitige Störungen verursacht. Besonders bei rechenintensiven Aufgaben treten sogar synergetische Effekte auf. Durch die Analyse der Gewichtungsraumgeometrie, des Vorhersageverhaltens und der Informationsbeschränkungen konnten die Mechanismen hinter diesen Vorteilen eingehend erklärt werden.

Das Projekt trägt den Namen M2RL (Mixed multi‑task training or separate training followed by model Merging for Reinforcement Learning) und ist unter https://github.com/mosAI25/M2RL verfügbar.