GRPO verbessert: Bilaterale Kontextbedingung & Belohnungs‑zu‑Vertrauenskorrektur

Die neue Studie zeigt, wie das bereits erfolgreiche Group Relative Policy Optimization (GRPO) noch stärker auf die Qualität von Denkprozessen abgestimmt werden kann. GRPO nutzt zwar den Mittelwert der Gruppe, behandelt aber jede Ausgabe als unabhängiges Sample und vernachlässigt damit die wertvolle Gegenüberstellung von korrekten und fehlerhaften Lösungen innerhalb derselben Gruppe.

Durch eine kontrastive Neugestaltung des GRPO‑Ziels wird deutlich, dass die Methode eigentlich die Differenz zwischen den Politikquotienten von richtigen und falschen Stichproben maximiert. Auf dieser Erkenntnis aufbauend, stellen die Autoren Bilateral Context Conditioning (BICC) vor – ein Mechanismus, der erfolgreiche und fehlgeschlagene Denkspuren während der Optimierung direkt miteinander verknüpft und so einen fließenden Informationsaustausch ermöglicht.

Zusätzlich wird Reward‑Confidence Correction (RCC) eingeführt, um das Training zu stabilisieren. RCC passt die Vorteilshintergrundschicht dynamisch an, indem es die Kovarianz zwischen Belohnung und Vertrauen nutzt, die aus einer ersten‑Ordnung‑Annäherung des varianceminimierenden Schätzers abgeleitet wird. Beide Ansätze erfordern keine zusätzlichen Stichproben oder Hilfsmodelle und lassen sich auf sämtliche GRPO‑Varianten übertragen.

Experimentelle Ergebnisse auf mathematischen Denkbenchmarks zeigen konsistente Verbesserungen bei einer Vielzahl von Modellen und Algorithmen. Der zugehörige Code ist unter https://github.com/Skylanding/BiCC verfügbar.