On-Policy RL trifft Off-Policy Experten durch dynamisches Gewicht
Die beiden führenden Post‑Training‑Methoden für große Sprachmodelle – Supervised Fine‑Tuning (SFT) und Reinforcement Learning (RL) – werden in der neuen Studie CHORD zu einem einheitlichen Ansatz verschmolzen. Dabei wir…
- Die beiden führenden Post‑Training‑Methoden für große Sprachmodelle – Supervised Fine‑Tuning (SFT) und Reinforcement Learning (RL) – werden in der neuen Studie CHORD zu…
- Dabei wird SFT nicht mehr als separate Phase behandelt, sondern als dynamisch gewichtetes Nebenziel im On‑Policy‑RL‑Prozess.
- CHORD nutzt zunächst einen globalen Koeffizienten, der den Übergang von der Off‑Policy‑Imitation zu On‑Policy‑Exploration steuert.
Die beiden führenden Post‑Training‑Methoden für große Sprachmodelle – Supervised Fine‑Tuning (SFT) und Reinforcement Learning (RL) – werden in der neuen Studie CHORD zu einem einheitlichen Ansatz verschmolzen. Dabei wird SFT nicht mehr als separate Phase behandelt, sondern als dynamisch gewichtetes Nebenziel im On‑Policy‑RL‑Prozess.
CHORD nutzt zunächst einen globalen Koeffizienten, der den Übergang von der Off‑Policy‑Imitation zu On‑Policy‑Exploration steuert. Anschließend wird eine token‑weise Gewichtungsfunktion eingesetzt, die es dem Modell ermöglicht, gezielt aus den Expertentoken zu lernen, ohne die explorativen Fähigkeiten zu unterdrücken. Dieser doppelte Kontrollmechanismus verhindert, dass das Modell durch exzessive Expertendaten überangepasst wird.
Umfangreiche Experimente auf gängigen Benchmarks zeigen, dass CHORD einen stabileren und effizienteren Lernprozess liefert und die Leistung gegenüber bestehenden Baselines deutlich verbessert. Die Implementierung ist frei verfügbar unter GitHub.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.