R2-Dreamer: Schnelleres, Decoder‑Freies MBRL ohne Datenaugmentation

Ein neuer Beitrag auf arXiv (2603.18202v1) stellt R2‑Dreamer vor – ein Modell‑basierter Reinforcement‑Learning‑Ansatz, der ohne Decoder und ohne externe Datenaugmentation auskommt. Stattdessen nutzt er ein selbstüberwachtes Redundanz‑Reduktionsziel, das an der Barlow‑Twins‑Methode orientiert ist und als interner Regularizer wirkt.

In der Bild‑basierten MBRL‑Forschung ist es entscheidend, Repräsentationen zu lernen, die nur die wesentlichen Informationen extrahieren. Rekonstruktionsbasierte Verfahren verschwenden häufig Kapazität, indem sie große, für die Aufgabe irrelevante Bildbereiche verarbeiten. Decoder‑freie Methoden greifen dagegen auf Datenaugmentation zurück, was die Flexibilität einschränkt.

R2‑Dreamer löst dieses Problem, indem es ein Redundanz‑Reduktionsziel einführt, das die Repräsentationen selbst reguliert und einen Kollaps verhindert – ganz ohne Decoder und ohne zusätzliche Augmentation. Das Ziel lässt sich leicht in bestehende Frameworks integrieren.

Auf den Benchmark‑Suiten DeepMind Control Suite und Meta‑World erzielt R2‑Dreamer Leistungen, die mit starken Baselines wie DreamerV3 und TD‑MPC2 vergleichbar sind, während die Trainingszeit um 1,59‑fach schneller ist. Besonders beeindruckend sind die Ergebnisse auf DMC‑Subtle, wo das Modell mit sehr kleinen, für die Aufgabe relevanten Objekten deutlich besser abschneidet.

Die Ergebnisse zeigen, dass ein effektiver interner Regularizer die Vielseitigkeit und Leistungsfähigkeit von decoder‑freien MBRL‑Modellen erheblich steigern kann. Der komplette Code ist unter https://github.com/NM512/r2dreamer verfügbar.