Entropy Ratio Clipping: Globale Beschränkung stabilisiert RL

In der Post‑Training‑Phase von großen Sprachmodellen kommt Reinforcement Learning (RL) zum Einsatz, um die Fähigkeiten und die Ausrichtung der Modelle zu verbessern. Das off‑policy‑Training führt jedoch häufig zu einer Verteilungsschiebung, die die Policy über die Vertrauenszone hinaus treibt und Instabilitäten erzeugt, die sich in schwankender Entropie und unzuverlässigen Gradienten zeigen.

Der aktuelle Ansatz PPO‑Clip reduziert diese Probleme zwar, berücksichtigt aber nicht die globale Veränderung der Aktionsverteilung. Um dem entgegenzuwirken, schlägt die neue Studie vor, das Verhältnis der Entropie zwischen der aktuellen und der vorherigen Policy als globalen Messwert zu nutzen. Dieses Verhältnis spiegelt die relative Änderung der Exploration während der Updates wider.

Auf dieser Grundlage wird ein Entropy Ratio Clipping (ERC) eingeführt, das bidirektionale Beschränkungen auf das Entropieverhältnis auferlegt. Dadurch werden die Policy‑Updates auf globaler Ebene stabilisiert und die fehlende Regulierung von nicht ausgewählten Aktionen durch PPO‑Clip ausgeglichen. ERC wird in die Algorithmen DAPO und GPPO integriert.

Experimentelle Ergebnisse auf mehreren Benchmarks zeigen, dass ERC die Leistung konsistent verbessert und damit einen wichtigen Schritt zur Stabilisierung von RL‑basierten Post‑Training‑Methoden darstellt.