Neue Methode trennt Einflussbereiche für Reinforcement Learning

In der Welt des Reinforcement Learning (RL) ist es entscheidend, die Zustandsdimensionen zu erkennen, die tatsächlich von den eigenen Aktionen beeinflusst werden. Eine neue Technik namens Interventional Boundary Discovery (IBD) löst dieses Problem, indem sie die Aktionen des Agenten selbst manipuliert und statistische Tests anwendet, um die relevanten Dimensionen zu isolieren.

Traditionelle Ansätze, die sich ausschließlich auf beobachtende Statistiken stützen, können leicht von „Ablenkungsdimensionen“ getäuscht werden – Variablen, die zwar mit den Aktionen korrelieren, aber nicht kausal beeinflusst werden. IBD nutzt Pearl’s do-Operator, um gezielt Interventionen durchzuführen, und führt anschließend einen Zweistichproben-Test durch. Das Ergebnis ist eine klare, binäre Maske, die genau angibt, welche Beobachtungsdimensionen im Einflussbereich des Agenten liegen.

Ein großer Vorteil von IBD ist, dass keine Modelle gelernt werden müssen. Die Methode kann als Preprocessing-Schritt in jede beliebige RL-Architektur eingebettet werden, ohne die Grundstruktur zu verändern. In Experimenten mit zwölf kontinuierlichen Steuerungsaufgaben, die bis zu 100 Ablenkungsdimensionen enthielten, zeigte IBD beeindruckende Ergebnisse.

Erstens konnte beobachtungsbasierte Feature-Auswahl fehlerhaft sein, indem sie Ablenkungen auswählte und echte kausale Dimensionen vernachlässigte. Zweitens führte ein vollständiges RL-Training zu einem starken Leistungsabfall, sobald die Ablenkungen dreimal so zahlreich waren wie die relevanten Features. Drittens erreichte IBD nahezu die Leistung eines idealen Orakels und übertrug diese Vorteile zuverlässig auf moderne Algorithmen wie SAC und TD3.