R$^2$PO trennt Trainingspfade von Inferenzantworten und steigert LLM-Logik

In der Forschung zur Verbesserung der Logikfähigkeit großer Sprachmodelle (LLM) hat sich das Reinforcement Learning (RL) als zentrales Werkzeug etabliert. Ein Problem dabei ist jedoch, dass bisherige Ansätze eine einzige Policy sowohl für die Generierung von Inferenzantworten als auch für die Optimierung der Trainingspfade nutzen. Diese Doppelrolle führt zu einem Zielkonflikt: Während stabile Inferenzantworten gewünscht sind, erfordert effektives Training eine vielfältige Exploration. Das Ergebnis ist eine eingeschränkte Exploration, die die Logikleistung der Modelle beeinträchtigt.

Um dieses Problem zu lösen, stellt das neue Verfahren R$^2$PO (Residual Rollout Policy Optimization) vor. R$^2$PO fügt der bestehenden Policy einen leichten Residual Rollout‑Head hinzu, der die Trainingspfade von den Inferenzantworten trennt. Dadurch kann das Modell während des Trainings gezielt die Pfaddiversität erhöhen, ohne die Stabilität der Inferenzausgabe zu gefährden. Die Trennung ermöglicht eine kontrollierte Exploration, die die Lernfähigkeit des Modells deutlich verbessert.

Experimentelle Ergebnisse auf mehreren Benchmarks belegen die Wirksamkeit von R$^2$PO. Im Vergleich zu etablierten Baselines erzielte das Verfahren durchschnittlich 3,1 % höhere Genauigkeit auf MATH‑500 und 2,4 % auf APPS. Zusätzlich wurden Formatierungsfehler reduziert und die Länge-Bias‑Problematik bei der Optimierung verringert, was zu einer insgesamt stabileren Lernumgebung führt.

Der Quellcode von R$^2$PO ist öffentlich zugänglich unter https://github.com/RRPO-ARR/Code, sodass die Community die Methode leicht übernehmen und weiterentwickeln kann.