MAGE: Mehrstufige Autoregressive Generierung revolutioniert Offline RL

In der Welt des Offline-Reinforcement-Learnings (RL) haben generative Modelle in den letzten Jahren stark an Bedeutung gewonnen, weil sie komplexe Trajektorienverteilungen exakt abbilden können. Dennoch kämpfen viele Ansätze noch immer mit Aufgaben, die lange Zeiträume und spärliche Belohnungen erfordern. Hier setzt MAGE an – ein neues Verfahren, das die zeitliche Mehrskaligkeit von Trajektorien gezielt nutzt.

MAGE kombiniert einen bedingungsorientierten Multi‑Scale‑Autoencoder, der Trajektorien in hierarchische, zeitlich unterschiedliche Ebenen zerlegt, mit einem Multi‑Scale‑Transformer, der diese Ebenen autoregressiv von grob zu fein generiert. Durch diese Struktur werden Abhängigkeiten auf mehreren Auflösungen erfasst, was besonders bei langen, sparsamen Belohnungsszenarien von Vorteil ist.

Ein weiterer Baustein ist der bedingungsorientierte Decoder, der präzise Kontrolle über kurzfristige Verhaltensweisen ermöglicht. In umfangreichen Tests auf fünf Offline‑RL‑Benchmarks und im Vergleich zu fünfzehn etablierten Baselines zeigte MAGE, dass die Kombination aus mehrstufiger Modellierung und bedingter Steuerung zu kohärenten und kontrollierbaren Trajektorien führt – selbst in anspruchsvollen, langfristigen Aufgaben.