UEC-RL: Entropie-Steuerung steigert Exploration im Reinforcement Learning

Reinforcement Learning (RL) hat in den letzten Jahren die Denkfähigkeiten großer Sprach- und Vision‑Language‑Modelle deutlich vorangebracht. Trotz dieser Fortschritte leidet das weit verbreitete Group Relative Policy Optimization (GRPO) häufig unter Entropie‑Kollaps, wodurch die Policy zu früh konvergiert und die Vielfalt der erfassten Strategien verloren geht.

Um dieses Problem zu lösen, stellt die neue Methode Unified Entropy Control for Reinforcement Learning (UEC‑RL) ein zweigeteiltes Framework vor. Auf der einen Seite wird gezielt mehr Exploration aktiviert, wenn das Modell auf schwierige Eingabeaufforderungen trifft, um potenzielle und wertvolle Denkpfade zu entdecken. Auf der anderen Seite sorgt ein Stabilisierungskomponente dafür, dass die Entropie nicht unkontrolliert ansteigt, sodass das Training stabil bleibt, während das Modell verlässliche Verhaltensweisen festigt.

Durch diese Kombination kann UEC‑RL den Suchraum bei Bedarf erweitern, ohne die Optimierungsstabilität zu gefährden. In Experimenten mit großen Sprach‑ und Vision‑Language‑Modellen zeigte sich ein konsistenter Leistungszuwachs gegenüber klassischen RL‑Baselines, sowohl bei Pass@1 als auch bei Pass@$k$.

Besonders beeindruckend ist die 37,9 %ige relative Verbesserung auf der Geometry3K‑Aufgabe im Vergleich zu GRPO. Das Ergebnis verdeutlicht, dass UEC‑RL effektive Exploration ermöglicht, ohne die Konvergenz zu beeinträchtigen, und damit einen entscheidenden Beitrag zur Skalierung von RL‑basiertem Reasoning in großen Modellen leistet.

Der zugehörige Code ist öffentlich zugänglich unter https://github.com/597358816/UEC-RL.