Recycling-Fehler: RLVR-Exploration durch feinkörnige Off‑Policy‑Anleitung

Reinforcement Learning from Verifiable Rewards (RLVR) hat sich als leistungsstarkes Paradigma für die Verbesserung der komplexen Denkfähigkeiten großer Modelle etabliert. Ein entscheidendes Problem dabei ist jedoch die herkömmliche, ergebnisbasierte Überwachung, die fast korrekte, aber fehlerhafte Pfade genauso hart bestraft wie völlig falsche. Dieses grobe Feedback führt dazu, dass wertvolle, größtenteils richtige Rollouts verworfen werden, wodurch die Vielfalt der Ausführungen frühzeitig eingeschränkt wird.

Process Reward Models (PRMs) bieten zuverlässige, schrittweise Verifizierungen und haben sich bereits für die Skalierung beim Testzeitpunkt bewährt. Die direkte Einbindung dieser Signale als dichte Belohnungen in RLVR hat sich jedoch als ineffektiv erwiesen. Frühere Ansätze versuchten, ganze Trajektorien außerhalb der Policy-Verteilung durch Off‑Policy‑Guided Replacement zu ersetzen, konnten jedoch die teilweise korrekten Rollouts, die das Modell selbst erzeugt, nicht effektiv nutzen.

Um diese Schwächen zu beheben, stellt das neue Framework SCOPE (Step‑wise Correction for On‑Policy Exploration) vor. SCOPE nutzt PRMs, um den ersten fehlerhaften Schritt in suboptimalen Rollouts zu identifizieren und führt eine feinkörnige, schrittweise Off‑Policy‑Korrektur durch. Durch die präzise Verfeinerung von teilweise korrekten Pfaden kann SCOPE diese Trajektorien retten und die Rollout‑Vielfalt um 13,5 % steigern – ein signifikanter Gewinn, der die Exploration breiter hält.

Umfangreiche Experimente bestätigen die Wirksamkeit von SCOPE und zeigen, dass die Kombination aus schrittweiser Korrektur und Off‑Policy‑Guidance die bisherige Beschränkung der Exploration nachhaltig überwindet.