Offline RL: Skalierbare Modellbasierte Lernmethode mit Aktionsblöcken

Ein neues Verfahren namens Model-Based RL with Action Chunks (MAC) zeigt, dass modellbasiertes Reinforcement Learning auch bei sehr großen, komplexen Offline‑Datensätzen bis zu 100 M Transaktionen effizient funktioniert. Durch die Verwendung von „Aktionsblöcken“ – Sequenzen von Aktionen statt einzelner Schritte – reduziert MAC die kumulativen Fehler, die bei langen Rollouts entstehen, und verbessert die Vorhersagegenauigkeit des dynamischen Modells.

MAC kombiniert die Vorteile von on‑policy Value Expansion mit einer robusten Rejection‑Sampling‑Strategie. Statt die Policy direkt auf die Belohnung zu optimieren, wird aus einer ausdrucksstarken Verhaltenspolicy gezielt ausgetauscht, wodurch das Modell vor Ausreißern aus dem Trainingsraum geschützt wird. Dieses Vorgehen verhindert, dass das Modell durch unrealistische Aktionen ausgenutzt wird.

Experimentelle Ergebnisse auf anspruchsvollen Langzeitaufgaben zeigen, dass MAC die bisher beste Leistung unter allen Offline‑modellbasierten RL‑Algorithmen erzielt. Das Verfahren bietet damit einen skalierbaren Ansatz, um komplexe Aufgaben mit langen Zeithorizonten zuverlässig zu lösen.