GRPO: Reflektierende Belohnung steigert mathematisches Denken von LLMs

In einer neuen Studie aus dem arXiv-Preprint 2603.14041v1 wird ein innovatives Verfahren vorgestellt, das die mathematische Problemlösefähigkeit großer Sprachmodelle (LLMs) deutlich verbessert. Durch die Kombination von Group Relative Policy Optimization (GRPO) mit gezielten Reflexionsbelohnungen entsteht ein vierstufiges Trainingsframework, das die Modelle dazu anregt, ihre eigenen Lösungswege kritisch zu hinterfragen.

Die Autoren ergänzen die klassischen Genauigkeits- und Formatbelohnungen um einen Reflexionsreward, der die Lernschritte selbstbewusster gestaltet. In umfangreichen Experimenten übertrifft das GRPO-basierte Training die bisherigen State‑of‑the‑Art‑Methoden und zeigt, dass die Reflexionskomponente entscheidend für die Leistungssteigerung ist. Ablationsstudien belegen, dass ohne diese Belohnung die erzielten Fortschritte deutlich geringer ausfallen.

Ein weiterer Befund ist, dass ein vollständiges, parameter‑basiertes Supervised Fine‑Tuning (SFT) die Low‑Rank‑Adaptation (LoRA) übertrifft, obwohl es höhere Rechenkosten verursacht. Diese Erkenntnis unterstreicht die Bedeutung von umfassenden Optimierungsstrategien für die Weiterentwicklung von LLMs.

Die Ergebnisse legen nahe, dass GRPO ein wirkungsvolles Werkzeug für die Nachoptimierung von Sprachmodellen darstellt und das Potenzial besitzt, zukünftige intelligente Agenten zu unterstützen. Durch die Integration kognitiver Belohnungen mit dynamischen Umweltinteraktionen eröffnet sich ein vielversprechender Ansatz für die nächste Generation von KI‑Systemen.