Unkalibrierte Logik: GRPO führt zu Übervertrauen bei stochastischen Ergebnissen

Reinforcement‑Learning (RL) hat sich bereits als äußerst wirkungsvoll erwiesen, wenn Sprachmodelle in klar definierten, deterministischen Bereichen wie der Mathematik verbessert werden sollen. In einer neuen Untersuchung wird nun geprüft, ob dieselben RL‑Methoden auch in Bereichen mit zufälligen Ergebnissen – etwa bei wissenschaftlichen Experimenten – erfolgreich sind.

Die Forscher setzten sowohl auf synthetische Datensätze als auch auf echte biologische Experimente, um die Leistungsfähigkeit verschiedener RL‑Ansätze zu vergleichen. Dabei zeigte sich, dass Group Relative Policy Optimization (GRPO) bei binären, stochastischen Ergebnissen zu übermäßig selbstsicheren Wahrscheinlichkeitsvorhersagen führt. Im Gegensatz dazu liefern Proximal Policy Optimization (PPO) und REINFORCE Leave‑One‑Out (RLOO) gut kalibrierte Modelle.

Ein entscheidender Befund ist, dass die Entfernung der Gruppennormierung aus GRPO die Fehlkalibrierung behebt. Die Autoren liefern zudem eine theoretische Erklärung dafür, warum die Standard‑Normalisierung zu diesem Übervertrauen führt. Diese Erkenntnisse legen nahe, die Standard‑Normierung in GRPO zu vermeiden.

Die Ergebnisse eröffnen neue Perspektiven für den Einsatz von RL bei der Optimierung von Sprachmodellen in unsicheren, verifizierbaren Domänen und zeigen, dass sorgfältige Modellarchitektur entscheidend für die Zuverlässigkeit der Vorhersagen ist.