CURE verhindert Entropieabfall bei Sprachmodellen – neue RLVR-Methode

In den letzten Jahren hat die Kombination aus Reinforcement Learning und verifizierten Belohnungen (RLVR) die kognitiven Fähigkeiten großer Sprachmodelle deutlich verbessert. Doch die bisher üblichen RLVR-Workflows nutzen bei jeder Sampling-Phase dieselben statischen Startzustände aus dem Trainingsdatensatz. Das führt zu stark deterministischen und wenig vielfältigen Modellverhalten, was schließlich zu einem schnellen Entropieabfall und zu stagnierenden Leistungssteigerungen führt.

Um diesem Problem entgegenzuwirken, wurde das neue Verfahren CURE (Critical-token-guided Re-concatenation for Entropy-collapse Prevention) entwickelt. CURE arbeitet in zwei Phasen. In der ersten Phase werden kritische Token mit hoher Entropie neu generiert, wodurch das Modell gezielt in neue, aber dennoch kohärente Kontexte geführt wird. Gleichzeitig werden die ursprünglichen und die neu erzeugten Pfade gleichzeitig optimiert, was die Exploration fördert und die Entropie hoch hält.

Die zweite Phase setzt auf die klassische DAPO-Methode mit statischen Startzuständen. Dadurch wird das Modell in vertraute Zustände zurückgeführt, um die Exploitation zu verstärken und die erlangte Leistung zu festigen. Experimente mit dem Modell Qwen‑2.5‑Math‑7B zeigen, dass CURE im Vergleich zu anderen RLVR‑Ansätzen einen durchschnittlichen Leistungszuwachs von 5 % über sechs Mathematik‑Benchmarks erzielt und damit sowohl in Bezug auf Entropie als auch auf Genauigkeit den aktuellen Stand der Technik übertrifft.