Weniger Fragen, mehr Erkenntnis: Unsicherheitskonsistenz verbessert RLVR

Die jüngsten Fortschritte bei großen Sprachmodellen (LLMs) haben die mathematische Problemlösung durch Reinforcement Learning with Verifiable Reward (RLVR) deutlich vorangebracht. Doch die dafür benötigten Annotationsbudgets sind enorm, was die Kosten für die Anwendung stark erhöht.

Forscher haben sich gefragt, ob man mit weniger, aber gezielteren Anfragen dieselbe oder sogar bessere Leistung erzielen kann. Dazu haben sie Active Learning (AL) in den RLVR-Workflow integriert und die Effektivität verschiedener Auswahlstrategien untersucht.

Erstklassige AL-Methoden erwiesen sich in diesem Kontext als nicht überlegen, weil sie die objektive Unsicherheit ignorieren und sich ausschließlich auf subjektive Unsicherheit stützen. Die Autoren stellen daher ein neues Maß namens „Unsicherheitskonsistenz“ vor, das misst, wie gut subjektive Unsicherheit mit objektiver Unsicherheit übereinstimmt.

Im Offline-Bereich wird die Konsistenz über den Point-Biserial Correlation Coefficient (PBC) ermittelt. Für das Online-Training, wo die Stichprobe begrenzt ist und sich die Ausgabedistributionen dynamisch ändern, wurde ein neuer Online-Variante entwickelt, die aus normalisiertem Vorteil und subjektiver Unsicherheit berechnet wird. Theoretisch wurde gezeigt, dass diese Online-Metrik strikt negativ mit dem Offline-PBC korreliert und dadurch eine bessere Stichprobenauswahl ermöglicht.

Experimentelle Ergebnisse belegen, dass die vorgeschlagene Methode konsequent die Random- und klassischen AL-Baselines übertrifft. Sie erreicht die volle Datensatzleistung, während sie nur 30 % der Daten nutzt – ein signifikanter Kostenreduktionseffekt für RLVR-basierte Rechenaufgaben.