Weniger Lärm, mehr Stimme: RLVR verbessert LLM-Logik durch Prompt‑Purification

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat die Fähigkeit von großen Sprachmodellen (LLMs) zur logischen Argumentation deutlich verbessert. Dennoch bleibt die Exploration ineffizient, wenn die Anzahl der Rollouts begrenzt ist. Das führt zu niedriger Stichprobenerfolgsrate und instabiler Trainingsdynamik bei komplexen Aufgaben.

Die Autoren haben herausgefunden, dass die meisten Exploration‑Fehler nicht an der Schwierigkeit der Aufgaben liegen, sondern an einer kleinen Anzahl von Prompt‑Tokens, die störende Interferenzen erzeugen. Diese Tokens behindern die Lernprozesse, obwohl die eigentliche Aufgabe lösbar ist.

Auf dieser Erkenntnis basiert das neue Less Noise Sampling Framework (LENS). Zunächst werden die störenden Tokens identifiziert und entfernt. Anschließend werden die erfolgreichen Rollouts aus diesem „Reinigungsprozess“ genutzt, um die Policy‑Optimierung auf den ursprünglichen, verrauschten Prompts zu trainieren. Dadurch lernt das Modell, Interferenzen in realen, verrauschten Prompt‑Umgebungen zu ignorieren.

Experimentelle Ergebnisse zeigen, dass LENS die Konkurrenz GRPO deutlich übertrifft: Es erzielt durchschnittlich 3,88 % höhere Leistungen und beschleunigt die Konvergenz um mehr als das 1,6‑fache. Die Arbeit unterstreicht die entscheidende Rolle des Prunings von Interferenz‑Tokens für die Effizienz von Rollouts und eröffnet neue Perspektiven für die Weiterentwicklung von RLVR.