Token‑Effizientes RL: NAT reduziert Rechenaufwand bei langen CoT‑Trails

Reinforcement Learning (RL) hat die Entwicklung großer Sprachmodelle maßgeblich vorangetrieben, doch die Skalierung von RL auf lange Chain‑of‑Thought‑Sequenzen wird zunehmend durch die Notwendigkeit, jeden generierten Token zu backpropagieren, eingeschränkt. Der gesamte Trainingsaufwand steigt mit der Tokenlänge, was RL zu einer versteckten Belastung macht.

Mit dem neuen Ansatz „Not All Tokens Are Needed“ (NAT) wird das Tokenbudget zu einem zentralen Optimierungsziel. NAT aktualisiert die Policy ausschließlich anhand einer gezielt ausgewählten Teilmenge der Tokens, behält aber die volle Lernsignalstärke bei. Der Schlüssel liegt in einem unverzerrten, partiellen Token‑Policy‑Gradienten, der durch Horvitz‑Thompson‑Reweighting statistisch korrekt bleibt, obwohl Tokens subsampled werden.

Die Implementierung von NAT erfolgt über zwei einfache, plug‑and‑play Auswahlverfahren: Uniform Random Sampling (URS) und Random Prefix Cutting (RPC). Beide Methoden reduzieren sowohl die Vorwärts‑ als auch die Rückwärtsberechnung und den Speicherbedarf, ohne die Belohnungsberechnung oder den Rollout‑Pipeline zu verändern. Auf mathematischen Reasoning‑Benchmarks erreicht NAT die gleiche Leistung wie die vollständige Token‑Version, nutzt jedoch nur die Hälfte der Tokens.

In praktischen Experimenten spart RPC bei Qwen3‑8B 18 % Peak‑GPU‑Speicher und 29 % Trainingszeit für Vorwärts- und Rückwärtsberechnungen. NAT bietet damit einen effizienten, orthogonalen Weg, RL über die Grenzen langer Trajektorien hinaus zu skalieren.