Vintix II: Entscheidungs-Pre-Trained Transformer als skalierbarer In-Context RL-Learner

In einer neuen Veröffentlichung präsentiert das Forschungsteam die Vintix II‑Methode, einen Decision Pre‑Trained Transformer (DPT), der In‑Context Reinforcement Learning (ICRL) auf ein neues Skalierungsniveau hebt. Der Ansatz ermöglicht es, Agenten zu trainieren, die bei der Inferenz sofort neue Aufgaben übernehmen können, ohne dass zusätzliche Feinabstimmungen nötig sind.

Frühere Fortschritte in ICRL wurden durch Algorithm Distillation (AD) vorangetrieben, die zwar vielversprechende Ergebnisse erzielte, jedoch bei unbekannten Aufgaben noch begrenzte Generalisierung zeigte. Der DPT hatte bereits in vereinfachten Domänen stärkere Lernfähigkeiten demonstriert, blieb jedoch bislang bei der Skalierbarkeit eingeschränkt.

Die Autoren erweitern den DPT nun auf vielfältige Multi‑Domain‑Umgebungen und setzen Flow Matching als Trainingsmethode ein, die die Interpretation als Bayesian Posterior Sampling bewahrt. Dadurch entsteht ein Agent, der über Hunderte unterschiedlicher Aufgaben hinweg trainiert wurde und deutlich bessere Ergebnisse bei der Generalisierung auf bislang nicht gesehenen Testaufgaben erzielt.

Die Ergebnisse zeigen, dass dieser Agent die bisherige AD‑Skalierung übertrifft und sowohl bei Online‑ als auch Offline‑Inference eine höhere Leistung erbringt. Damit wird ICRL als praktikable Alternative zur Experten‑Distillation für die Ausbildung von Generalisten-Agenten weiter gestärkt.