Dynamische Hybrid-Optimierung: Token- und Sequenz-Strategien vereint

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) eröffnet neue Wege, große Sprachmodelle für komplexe Denkaufgaben zu optimieren. Bisher konzentrierten sich RLVR-Algorithmen auf unterschiedliche Granularitäten: Group Relative Policy Optimization (GRPO) nutzt token‑basierte Wichtigkeitsverhältnisse, um feinkörnige Kreditzuweisungen zu ermöglichen, leidet jedoch häufig unter hoher Varianz und Instabilität. Im Gegensatz dazu setzt Group Sequence Policy Optimization (GSPO) auf sequentielle Wichtigkeitsverhältnisse, die besser mit sequentiellen Belohnungen übereinstimmen, aber die token‑weise Rückmeldung vernachlässigen.

In der vorliegenden Arbeit wird Dynamic Hybrid Policy Optimization (DHPO) vorgestellt, das die Vorteile von GRPO und GSPO in einem einzigen, geklippten Surrogatziel vereint. DHPO kombiniert token‑ und sequentielle Wichtigkeitsverhältnisse über gewichtete Mischmechanismen. Zwei Varianten der Mischung werden untersucht: eine durchschnittliche Mischung und eine entropie‑gesteuerte Mischung. Zur Stabilisierung des Trainings wird eine branch‑spezifische Klipping‑Strategie eingesetzt, die token‑ und sequentielle Verhältnisse jeweils in getrennte Vertrauensbereiche einschränkt, bevor sie gemischt werden. Dadurch werden Ausreißer in einer der beiden Zweige verhindert, die sonst die Aktualisierung dominieren könnten.

Durch umfangreiche Experimente an sieben anspruchsvollen mathematischen Denkbenchmarks, sowohl mit dichten als auch mit Mixture‑of‑Experts (MoE) Modellen der Qwen3‑Serie, zeigt DHPO konsequent bessere Ergebnisse als GRPO und GSPO. Der Ansatz demonstriert, dass die Kombination von token‑ und sequentieller Optimierung in einem einheitlichen Rahmen die Leistung von RLVR‑basierten Modellen signifikant steigern kann. Der Code wird nach Annahme des Papiers veröffentlicht.