Neues RL-Framework I-TAP revolutioniert Planung in verrauschten Umgebungen

Das neu veröffentlichte Framework I‑TAP (In‑Context Latent Temporal‑Abstraction Planner) löst zwei zentrale Probleme des planungsbasierten Reinforcement Learning für kontinuierliche Steuerung: Erstens verhindert die Verwendung von primitiven Zeitskalen die Explosion der Baumstruktur bei langen Horizonten, und zweitens berücksichtigt I‑TAP die häufig auftretenden Regimewechsel und Teil‑Beobachtbarkeit realer Umgebungen.

I‑TAP nutzt Offline‑Trajektorien, um einen observation‑conditioned residual‑quantization VAE zu trainieren, der jedes Beobachtungs‑Macro‑Action‑Segment in einen hierarchischen Stapel diskreter Residual‑Tokens komprimiert. Ein temporaler Transformer modelliert anschließend die autoregressive Vorhersage dieser Token‑Stacks aus einer kurzen, aktuellen Historie. Das Ergebnis ist ein Sequenzmodell, das gleichzeitig als kontextabhängige Prior‑Verteilung über abstrakte Aktionen und als latentes Dynamikmodell fungiert.

Im Testmodus führt I‑TAP Monte‑Carlo‑Tree‑Search direkt im Tokenraum durch. Dabei werden die kurzen Historien für eine implizite Anpassung genutzt, ohne dass Gradient‑Updates erforderlich sind. Die ausgewählten Token‑Stacks werden anschließend in ausführbare Aktionen dekodiert, sodass die Planung nahtlos in die reale Steuerung übergeht.

In einer Vielzahl von Benchmarks – von deterministischen und stochastischen MuJoCo‑Umgebungen über per‑Episode latente Dynamik‑Regime bis hin zu hochdimensionalen Adroit‑Manipulationsaufgaben, einschließlich teilweise beobachtbarer Varianten – übertrifft I‑TAP konsequent starke modellfreie und modellbasierte Offline‑Baselines. Das Ergebnis ist eine effiziente und robuste In‑Context‑Planung, die sowohl unter stochastischen Dynamiken als auch bei partieller Beobachtbarkeit zuverlässig funktioniert.