DVDF: Dynamik‑ und Wertauswahl verbessert Offline RL über Domänen hinweg

In der Forschung zum Cross‑Domain Offline Reinforcement Learning geht es darum, einen Agenten für ein Zielumfeld zu trainieren, indem sowohl ein begrenztes Datenset des Zielbereichs als auch ein umfangreiches Datenset aus einer Quelldomäne genutzt wird. Ein häufiges Problem ist die Dynamik‑Diskrepanz zwischen den beiden Domänen: Wenn die Daten einfach zusammengeführt werden, kann die Leistung stark nachlassen.

Frühere Ansätze haben sich ausschließlich auf die Auswahl von Quell‑Samples konzentriert, die eine gute Dynamik‑Übereinstimmung mit dem Zielumfeld aufweisen. Dabei wurde die sogenannte Wert‑Alignment‑Komponente – also die Qualität und der Nutzen der Samples – vernachlässigt. Die Autoren zeigen, dass sowohl Dynamik‑ als auch Wert‑Alignment entscheidend für eine erfolgreiche Politik­entwicklung sind, indem sie die Grenzen des aktuellen theoretischen Rahmens aufzeigen und einen konkreten Sub‑Optimalitäts‑Gap zwischen einer auf der Quelldomäne trainierten und einer auf dem Zielumfeld getesteten Politik demonstrieren.

Auf Basis dieser Erkenntnisse stellen sie die DVDF‑Methode (Dynamics‑ and Value‑aligned Data Filtering) vor. Diese filtert gezielt Quell‑Samples aus, die sowohl eine hohe Dynamik‑Übereinstimmung als auch einen hohen Wert besitzen. Die Autoren testen DVDF in einer Vielzahl von Szenarien, darunter kinematische und morphologische Shift‑Setups, verschiedene Aufgaben und Datensätze. Besonders beeindruckend sind die Ergebnisse in extrem datenarmen Situationen, in denen das Ziel‑Datenset nur wenige Stichproben enthält.

Die Arbeit liefert damit einen wichtigen Schritt zur effektiven Nutzung von Quell‑Daten in Offline‑RL‑Anwendungen und zeigt, dass ein ausgewogenes Verhältnis von Dynamik‑ und Wert‑Alignment die Grundlage für robuste, übertragbare Agenten bildet.