VI-CuRL: Stabilisierung von verifierunabhängigem RL-Reasoning durch Varianzreduktion

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich als führendes Verfahren zur Verbesserung der Argumentationsfähigkeit großer Sprachmodelle etabliert. Die Abhängigkeit von externen Verifikatoren limitiert jedoch die Skalierbarkeit, da diese Ressourcen teuer und schwer zu automatisieren sind.

In verifierunabhängigen Szenarien stoßen herkömmliche Ansätze wie Group Relative Policy Optimization an ihre Grenzen: die Gradientenvariabilität wird zu hoch, was häufig zu einem Kollaps des Trainings führt. Das Problem liegt darin, dass ohne externe Kontrolle die Lernschritte stark schwanken und das Modell nicht stabil lernt.

Die neue Methode VI-CuRL (Verifier-Independent Curriculum Reinforcement Learning) nutzt die eigene Vertrauensschätzung des Modells, um einen Curriculum zu bauen, der nicht auf Verifikatoren angewiesen ist. Durch die Priorisierung von Hochvertrauensbeispielen wird das Bias‑Variance‑Trade‑off gezielt gesteuert und die Varianz in Aktionen sowie Problemen reduziert.

Eine gründliche theoretische Analyse zeigt, dass der Schätzer von VI-CuRL asymptotisch unverzerrt bleibt. In Experimenten über sechs anspruchsvolle Benchmarks – sowohl mit als auch ohne Verifikatoren – demonstriert VI-CuRL eine höhere Stabilität und übertrifft sämtliche verifierunabhängige Baselines konsequent.