On-Policy RL trifft Off-Policy Experten durch dynamisches Gewicht

Die beiden führenden Post‑Training‑Methoden für große Sprachmodelle – Supervised Fine‑Tuning (SFT) und Reinforcement Learning (RL) – werden in der neuen Studie CHORD zu einem einheitlichen Ansatz verschmolzen. Dabei wird SFT nicht mehr als separate Phase behandelt, sondern als dynamisch gewichtetes Nebenziel im On‑Policy‑RL‑Prozess.

CHORD nutzt zunächst einen globalen Koeffizienten, der den Übergang von der Off‑Policy‑Imitation zu On‑Policy‑Exploration steuert. Anschließend wird eine token‑weise Gewichtungsfunktion eingesetzt, die es dem Modell ermöglicht, gezielt aus den Expertentoken zu lernen, ohne die explorativen Fähigkeiten zu unterdrücken. Dieser doppelte Kontrollmechanismus verhindert, dass das Modell durch exzessive Expertendaten überangepasst wird.

Umfangreiche Experimente auf gängigen Benchmarks zeigen, dass CHORD einen stabileren und effizienteren Lernprozess liefert und die Leistung gegenüber bestehenden Baselines deutlich verbessert. Die Implementierung ist frei verfügbar unter GitHub.