WS-GRPO: Gruppen-Relative Policy-Optimierung für effizientes Rollout

Die neu entwickelte Methode WS‑GRPO (Weakly‑Supervised Group‑Relative Policy Optimization) adressiert ein zentrales Problem bei der Anwendung von Policy‑Optimierung auf komplexe Sprach‑ und Logikaufgaben: die ineffiziente, oft übermäßige Ausführung von Rollouts. Traditionelle GRPO‑Ansätze nutzen ein Ziel, das relativ zu einer Gruppe von Trajektorien definiert ist, was zu längeren, redundanten Denkprozessen führt und die Balance zwischen Genauigkeit und Rechenaufwand erschwert.

WS‑GRPO löst dieses Problem, indem es die Endergebnisse – also die Richtigkeit der endgültigen Antwort – nutzt, um ein Präferenzmodell zu trainieren, das auf Teiltrajektorien angewendet wird. Dieses Modell liefert präzise Signale, wann ein Modell weiterdenken sollte und wann es sinnvoll ist, den Prozess zu beenden. Im Gegensatz zu globalen Längen­penalitäten, die schwer abzustimmen sind, erzeugt WS‑GRPO kontextabhängige, auf Richtigkeit basierende Anweisungen, die unnötige Weiterverarbeitung reduzieren, ohne die Genauigkeit zu beeinträchtigen.

Die Autoren präsentieren sowohl theoretische Beweise für die Stabilität des Ansatzes als auch umfangreiche Experimente auf führenden Reasoning‑Benchmarks. Die Ergebnisse zeigen, dass WS‑GRPO die durchschnittliche Rollout‑Länge signifikant verkürzt, während die Leistung im Vergleich zu herkömmlichen GRPO‑Baselines nahezu unverändert bleibt. Damit demonstriert die Methode, dass weniger, aber gezieltere Berechnungen zu einer effizienteren Nutzung von Ressourcen führen können.

WS‑GRPO markiert einen wichtigen Schritt in Richtung schlankerer, aber dennoch leistungsfähiger KI‑Modelle für komplexe Entscheidungsaufgaben. Durch die Kombination von schwacher Supervision und präziser, teiltrajektorienbasierter Steuerung eröffnet die Methode neue Möglichkeiten für die Entwicklung von KI-Systemen, die sowohl schnell als auch zuverlässig arbeiten.