Neues Verfahren verbessert mathematisches Denken von KI-Modellen

In der Welt der großen Sprachmodelle (LLMs) hat sich das mathematische Denken dank Reinforcement Learning (RL) mit überprüfbaren Belohnungen deutlich verbessert. Traditionell konzentrieren sich diese RL-Pipelines ausschließlich auf die Richtigkeit des Endergebnisses. Das führt zu spärlichem Feedback bei langen, mehrstufigen Lösungen und bietet kaum Hinweise auf Zwischenfehler.

Um dieses Problem zu lösen, wurden Prozess-Belohnungsmodelle (PRMs) eingeführt, die Zwischenschritte bewerten und damit eine dichtere Anleitung ermöglichen. In der Praxis sind PRM-Bewertungen jedoch nicht immer perfekt mit der Endkorrektheit abgestimmt. Sie können flüssiges, aber letztlich falsches Denken belohnen und damit sogar Fehlverhalten verstärken – ein Phänomen, das als „Reward Hacking“ bekannt ist.

Die neue Methode namens PROGRS nutzt PRMs, lässt aber die Endkorrektheit im Vordergrund stehen. Dabei werden Prozess-Belohnungen als relative Präferenzen innerhalb von Ergebnisgruppen behandelt, anstatt als absolute Ziele. Durch „outcome-conditioned centering“ werden die PRM-Werte fehlerhafter Lösungswege auf Null im Mittelwert jeder Prompt-Gruppe zentriert. So wird systematischer Bias eliminiert, während die Rangordnung der Schritte erhalten bleibt.

PROGRS kombiniert ein eingefrorenes Quantile‑Regression‑PRM mit einem Multi‑Scale‑Coherence‑Evaluator. Das Ergebnis, ein zentrierter Prozessbonus, wird in die Group Relative Policy Optimization (GRPO) integriert – ohne zusätzliche Ziele oder lernbare Komponenten. Auf den Datensätzen MATH‑500, AMC, AIME, MinervaMath und OlympiadBench führt PROGRS zu konsistenten Verbesserungen der Pass@1‑Rate im Vergleich zu herkömmlichen Ansätzen.