Neues Paradigma: Value Gradient Flow revolutioniert Reinforcement Learning

In der Welt des Reinforcement Learning (RL) steht die Vermeidung von überoptimierten Werten im Fokus, wenn Modelle außerhalb ihres Trainingsbereichs extrapolieren. Das neue Verfahren Value Gradient Flow (VGF) adressiert dieses Problem, indem es die Regularisierung der Policy gezielt an die Referenzverteilung anpasst – sei es ein Datensatz im Offline‑RL oder ein Basismodell beim Feintuning von LLMs.

Aktuelle Ansätze, die auf reparametrisierte Policy‑Gradienten setzen, stoßen bei großen generativen Modellen an ihre Grenzen, während Methoden mit Ablehnungs­sampling oft zu konservativ sind, wenn sie versuchen, über den ursprünglichen Verhaltensbereich hinauszugehen. VGF bietet hier einen eleganten Kompromiss.

VGF formuliert das problem als ein Optimales Transport‑Problem: die Referenzverteilung wird in die wert‑induzierten optimalen Policy‑Verteilung überführt. Durch diskrete Gradient‑Flows werden Partikel, die aus der Referenz starten, von den Wert‑Gradienten geleitet. Dieser Ansatz eliminiert die Notwendigkeit einer expliziten Policy‑Parameterisierung und bleibt gleichzeitig äußerst flexibel.

Die Analyse zeigt, dass VGF die Regularisierung implizit durch die Steuerung des Transport‑Budgets erzwingt. Dadurch kann die Methode während des Testzeitpunkts dynamisch angepasst werden, indem das Budget variiert wird – ein Feature, das bisherige Verfahren nicht bieten.

In umfangreichen Experimenten übertraf VGF frühere Methoden deutlich und erreichte neue Best‑Results auf etablierten Offline‑RL‑Benchmarks wie D4RL und OGBench sowie auf Aufgaben des LLM‑RL‑Feintunings. Der komplette Code und die Ausführungen sind unter https://ryanxhr.github.io/vgf verfügbar.