Logikbasierte Alternative zu Reward-Modellen: S‑GRPO verbessert RLHF‑Alignment

Reinforcement Learning from Human Feedback (RLHF) ist entscheidend, um große Sprachmodelle an menschliche Werte anzupassen. Dabei hängt die Qualität des Reward‑Models stark von der Endleistung ab. In einer neuen Studie wird ein völlig anderer Ansatz vorgestellt: statt heuristischer Belohnungen nutzt die Methode logische Konsistenz, um die Modellausgabe an menschliche Präferenzen auszurichten.

Um die Gefahr eines Modellkollapses bei mehrdeutigen Fragen zu vermeiden, wurde S‑GRPO entwickelt – ein überwachte Variante des GRPO‑Frameworks. S‑GRPO kombiniert einen zusätzlichen Supervised‑Component mit der Optimierung von Generierungs­term, KL‑Divergenz‑Regularisierung und einem label‑basierten Ziel. Durch diese Kombination erreicht das Modell eine höhere Stabilität und bessere Leistung als herkömmliches Supervised Fine‑Tuning (SFT).

Die Experimente zeigen, dass S‑GRPO nicht nur die Performance steigert, sondern auch robuster gegenüber Variationen in den Trainingsdaten ist. Darüber hinaus erweitert es bestehende Präferenz‑Lern‑Frameworks wie GRPO und DPO, indem es eine flexiblere, auf Aufgaben zugeschnittene Trainingsmethode bietet.

Der Quellcode ist öffentlich zugänglich unter https://github.com/ChunjinJiang/sgrpo.