On-Policy SFT: Effiziente, präzise KI-Logik ohne komplexes RL

In der Forschung zu großen Rechenmodellen für logisches Denken wird häufig Reinforcement Learning (RL) eingesetzt, um lange „Chain-of-Thought“-Erklärungen zu erzeugen. Diese Ansätze kombinieren mehrere Belohnungsziele, um sowohl Genauigkeit als auch Kürze zu optimieren, was jedoch die Stabilität des Trainings beeinträchtigt und zu suboptimalen Kompromissen führt.

Die neue Studie zeigt, dass zwei zentrale Elemente – KL-Regularisierung und gruppenweise Normalisierung – in diesem Kontext ihre ursprüngliche Wirkung verlieren. Durch das Entfernen dieser Komponenten und die Vereinfachung der Belohnung auf eine Länge-Penalty, die auf Trunkierung basiert, lässt sich das Problem in ein klassisches, überwachte Feinabstimmungsverfahren (On‑Policy SFT) überführen. Dabei werden selbstgenerierte Daten verwendet, die sowohl korrekt als auch prägnant sind.

On‑Policy SFT erreicht die gesamte Genauigkeits‑Effizienz‑Pareto‑Grenze und reduziert die Länge der Chain-of-Thought-Logik um bis zu 80 % – ohne die ursprüngliche Genauigkeit zu verlieren. Im Vergleich zu komplexeren RL‑Methoden übertrifft es diese in fünf Benchmark‑Tests. Darüber hinaus senkt es den GPU‑Speicherbedarf um 50 % und beschleunigt die Konvergenz um 70 %, was die Trainingskosten deutlich reduziert.

Der zugehörige Code ist öffentlich verfügbar unter https://github.com/EIT-NLP/On-Policy-SFT.