Dynamische Hybrid-Optimierung: Token- und Sequenz-Strategien vereint
Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) eröffnet neue Wege, große Sprachmodelle für komplexe Denkaufgaben zu optimieren. Bisher konzentrierten sich RLVR-Algorithmen auf unterschiedliche Granularitäten: Group Relative Policy Optimization (GRPO) nutzt token‑basierte Wichtigkeitsverhältnisse, um feinkörnige Kreditzuweisungen zu ermöglichen, leidet jedoch häufig unter hoher Varianz und Instabilität. Im Gegensatz dazu setzt Group Sequence Policy Optimization (GSPO) auf sequentielle Wichtigkeitsverhältnisse, die besser mit sequentiellen Belohnungen übereinstimmen, aber die token‑weise Rückmeldung vernachlässigen.
