PPO, GRPO und DAPO: Vergleich und Parametertuning für bessere LLM‑Logik

Eine neue Studie auf arXiv vergleicht systematisch drei Reinforcement‑Learning‑Algorithmen – Proximal Policy Optimization (PPO), Group‑Reinforcement Policy Optimization (GRPO) und Dynamic Adaptive Policy Optimization (DAPO) – und zeigt, wie sie die komplexe Logik großer Sprachmodelle (LLMs) verbessern können.

Der Ansatz besteht darin, die Modelle zunächst auf dem speziellen Countdown‑Game zu feintunen und anschließend ihre Leistung auf einer Reihe allgemeiner Reasoning‑Benchmarks zu messen. In allen Tests übertreffen die RL‑trainierten Modelle ihre Basis‑Versionen, wobei der Grad der Verbesserung je nach Aufgabe variiert.

Ein besonderes Augenmerk liegt auf der Parametertuning‑Analyse. Größere Gruppen in GRPO und DAPO führen zu stabileren Trainingsdynamiken und höherer Genauigkeit. Der Einfluss des KL‑Penalty‑Koeffizienten ist hingegen nicht linear – ein zu hoher Wert kann die Leistung sogar verschlechtern.

Interessanterweise hat der Dynamic‑Sampling‑Mechanismus von DAPO keinen positiven Effekt. Die besten Ergebnisse erzielt DAPO, wenn dieser Modus deaktiviert ist, was wichtige Hinweise für die Praxis liefert.

Die Arbeit liefert damit nicht nur einen klaren Vergleich der drei Algorithmen, sondern auch praktische Leitfäden für das Training von LLMs mit Reinforcement Learning.