ScRPO: Selbstkorrektur-Algorithmus verbessert Sprachmodelle bei Mathematikaufgaben

In einer neuen Veröffentlichung auf arXiv wird ScRPO – Self‑Correction Relative Policy Optimization – vorgestellt, ein innovatives Reinforcement‑Learning‑Framework, das große Sprachmodelle gezielt bei komplexen mathematischen Aufgaben stärkt. Durch die Kombination von Selbstreflexion und Fehlerkorrektur lernt das Modell, aus eigenen Irrtümern zu wachsen und dadurch seine Problemlösungsfähigkeiten nachhaltig zu verbessern.

Der Ansatz gliedert sich in zwei Phasen. Zunächst wird das Modell im Trial‑and‑Error‑Modus mit GRPO trainiert und sammelt dabei falsche Antworten sowie die zugehörigen Fragen in einem Fehlerpool. Anschließend folgt die Selbstkorrektur‑Phase, in der das Modell gezielt reflektiert, warum seine vorherigen Antworten falsch waren, und daraus neue Strategien ableitet. Diese iterative Vorgehensweise ermöglicht es dem Modell, ohne umfangreiche externe Rückmeldungen eigenständig zu lernen.

Um die Wirksamkeit von ScRPO zu prüfen, wurden umfangreiche Experimente auf führenden Mathematik‑Benchmarks wie AIME, AMC, Olympiad, MATH‑500 und GSM8k durchgeführt. Dabei kamen die Modelle Deepseek‑Distill‑Qwen‑1.5B und Deepseek‑Distill‑Qwen‑7B zum Einsatz. Die Ergebnisse zeigen, dass ScRPO konsequent mehrere bestehende Post‑Training‑Methoden übertrifft und damit einen vielversprechenden Weg aufzeigt, Sprachmodelle selbstständig und zuverlässig auf anspruchsvolle Aufgaben zu optimieren.