Verbessern Sie LLM‑Logik: Präzise Fehlerstrafe mit Prozess‑überwachtem RL

Reinforcement Learning (RL) hat sich als kraftvolles Werkzeug zur Steigerung der Denkfähigkeit großer Sprachmodelle (LLMs) etabliert. Traditionell setzen die meisten RL‑Ansätze jedoch auf spärliche Ergebnis‑Belohnungen, die korrekte Zwischenschritte in teilweise erfolgreichen Lösungen nicht würdigen. Prozess‑Reward‑Modelle (PRMs) bieten eine fein granularere Schritt‑für‑Schritt‑Überwachung, sind aber häufig verrauscht und schwer zu bewerten. Aus diesem Grund konzentrieren sich aktuelle PRM‑Benchmarks darauf, den ersten falschen Schritt in einem Denkpfad zu erkennen – ein Ziel, das jedoch nicht mit der üblichen RL‑Anwendung übereinstimmt, bei der PRM‑Scores als rohe Belohnungen maximiert werden.

Um diese Lücke zu schließen, stellt das neue Verfahren Verifiable Prefix Policy Optimization (VPPO) vor. VPPO nutzt PRMs ausschließlich zur Lokalisierung des ersten Fehlers während des RL‑Trainings. Bei einer fehlerhaften Ausführung teilt VPPO die Trajektorie in einen verifizierten korrekten Präfix und einen fehlerhaften Suffix auf, belohnt den Präfix und wendet gezielte Strafen erst nach dem erkannten Fehler an. Dieses Design liefert stabile, interpretierbare Lernsignale und verbessert die Zuordnung von Belohnungen zu den richtigen Schritten.

In einer Reihe von Reasoning‑Benchmarks übertrifft VPPO sowohl spärlich belohnte RL‑Methoden als auch frühere PRM‑gesteuerte Baselines konsequent in den Metriken Pass@1 und Pass@K. Damit demonstriert VPPO, dass eine präzise Fehlerstrafe, die auf verifizierten Prefix‑Segmenten basiert, die Leistungsfähigkeit von LLMs im logischen Denken signifikant steigern kann.