Neuer RL-Algorithmus vereint Effizienz von Model-Free und Stärke von Model-Based

Ein neuer Reinforcement‑Learning‑Ansatz namens Unified Latent Dynamics (ULD) kombiniert die schnelle Lernfähigkeit von model‑free Methoden mit den starken Repräsentationsfähigkeiten von model‑based Ansätzen – und das ohne zusätzlichen Planungsaufwand. Durch die Einbettung von Zustands‑Aktions‑Paaren in einen latenten Raum, in dem die wahre Wertfunktion annähernd linear ist, kann ULD ein einheitliches Set an Hyperparametern über sehr unterschiedliche Aufgaben hinweg einsetzen, von kontinuierlicher Steuerung mit niedriger Dimensionalität bis hin zu hochdimensionalen Atari‑Spielen.

Die Autoren zeigen theoretisch, dass unter milden Bedingungen der Fixpunkt der embedding‑basierten Temporal‑Difference‑Updates mit dem eines linearen model‑based Value‑Expansions übereinstimmt. Sie liefern zudem explizite Fehlergrenzen, die die Qualität der Wertapproximation in Abhängigkeit von der Einbettungs­treue quantifizieren. In der Praxis nutzt ULD synchronisierte Updates von Encoder, Wert‑ und Politiknetzwerken, ergänzt durch Hilfsverluste für kurzfristige prädiktive Dynamik und eine Reward‑Scale‑Normalisierung, um stabiles Lernen bei spärlichen Belohnungen zu gewährleisten.

Auf 80 Umgebungen – darunter Gym‑Locomotion, DeepMind‑Control (propriozeptiv und visuell) sowie Atari – übertrifft ULD spezialisierte model‑free und generische model‑based Baselines oder erreicht zumindest vergleichbare Leistungen. Dabei erfordert es nur minimale Feinabstimmung und einen Bruchteil des Parameter‑Footprints. Diese Ergebnisse zeigen, dass rein wertausgerichtete latente Repräsentationen die Anpassungsfähigkeit und Sample‑Effizienz liefern können, die bislang ausschließlich vollständiger model‑based Planung zugeschrieben wurden.