In‑Context Reinforcement Learning mit suboptimalen Daten: Neuer Transformer‑Ansatz liefert bessere Ergebnisse

Transformer‑Modelle haben in den letzten Jahren dank ihrer in‑Context‑Learning‑Fähigkeiten enorme Fortschritte erzielt. In einer neuen Studie wird ein autoregressiver Transformer für das sogenannte In‑Context Reinforcement Learning (ICRL) eingesetzt. Dabei wird der Transformer zunächst mit einem Offline‑Datensatz trainiert, der Trajektorien aus verschiedenen RL‑Aufgaben enthält – und zwar aus suboptimalen Verhaltensstrategien.

Wenn man den Transformer einfach mit Standard‑Autoregressiv‑Training nutzt, entspricht das im Wesentlichen dem Imitation‑Learning und führt zu suboptimalen Leistungen. Um dem entgegenzuwirken, schlägt die Arbeit einen neuen Ansatz vor: den Decision Importance Transformer (DIT). Dieser Ansatz kombiniert die Prinzipien eines Actor‑Critic‑Algorithmus mit der In‑Context‑Methode.

Zuerst wird ein transformer‑basierter Wertfunktionstrainer entwickelt, der die Vorteilfunktionen der suboptimalen Verhaltenspolicies schätzt. Anschließend wird die Policy selbst mittels einer gewichteten Maximum‑Likelihood‑Schätzung trainiert, wobei die Gewichte aus der zuvor erstellten Wertfunktion abgeleitet werden. Dadurch wird die Policy gezielt von den suboptimalen Strategien zu optimalen geführt.

Um die Wirksamkeit zu prüfen, wurden umfangreiche Experimente an Bandit‑ und Markov‑Decision‑Process‑Problemen durchgeführt. Die Ergebnisse zeigen, dass DIT besonders dann die Leistung steigert, wenn der Offline‑Datensatz suboptimale Historien enthält. Damit liefert der neue Transformer‑Ansatz einen vielversprechenden Weg, um aus vorhandenen, nicht perfekten Daten effektive Reinforcement‑Learning‑Modelle zu bauen.