Dynamische Constraints verbessern Reinforcement Learning Fine‑Tuning

In der Feinabstimmung von Reinforcement‑Learning‑Modellen (RFT) sind Einschränkungen entscheidend, um stabile Ergebnisse zu erzielen und degenerate Ausgaben zu verhindern. Gleichzeitig stehen sie im Widerspruch zum Optimierungsziel, weil zu starke Beschränkungen die Entdeckung besserer Lösungen behindern.

Die neue Methode nutzt dynamische Constraints, die sich an die sich verändernden Fähigkeiten des Modells anpassen. Dabei greifen die Beschränkungen nur ein, wenn tatsächlich fehlerhafte Ausgaben entstehen.

Zur Umsetzung wird ein Online‑Refiner eingesetzt: Ein Referenzmodell nimmt die Antwort des feinabgestimmten Modells entgegen, korrigiert sie minimal und liefert eine Version, die den korrekten Inhalt beibehält, aber Fehler behebt. Anschließend trainiert ein überwachter Feinabstimmungsverlust das Modell, die korrigierte Ausgabe zu reproduzieren.

Dieses Verfahren erzeugt eine Constraint, die sich automatisch je nach Ausgabegüte verstärkt oder lockert. Experimente in den Bereichen Dialog und Code‑Generierung zeigen, dass dynamische Constraints sowohl die Task‑Belohnungen deutlich steigern als auch die Trainingsstabilität gegenüber herkömmlicher KL‑Regularisierung und unbeschränkten Baselines verbessern.