CaDiff: RL-Framework steigert Leistung bei verrauschten, teilweisen Beobachtungen

Ein neues Verfahren namens CaDiff (Causal State Representation under Asynchronous Diffusion Model) verspricht, die Entscheidungsfindung in Reinforcement‑Learning‑Systemen zu verbessern, wenn die Beobachtungen unvollständig und verrauscht sind. Das Framework adressiert gleichzeitig die Herausforderungen von perturbed and partially observable Markov decision processes (P²OMDPs), die bisher von bestehenden Methoden kaum berücksichtigt wurden.

CaDiff nutzt einen asynchronen Diffusionsmodell‑Ansatz, der sowohl Vorwärts‑ als auch Rückwärtsprozesse mit unterschiedlichen Schrittzahlen ermöglicht. Dadurch wird die Störung in P²OMDPs als Teil des Rauschens behandelt, das durch Diffusion unterdrückt wird. Ergänzt wird das Modell durch eine neue Bisimulationsmetrik, die die Ähnlichkeit zwischen teilweise beobachtbaren Umgebungen und ihren kausalen Gegenstücken misst.

Die Autoren zeigen theoretisch, dass CaDiff die Fehler bei der Approximation der Wertfunktion zwischen verrauschten Beobachtungen und den bereinigten kausalen Zuständen begrenzt. Dieser Beweis liefert ein fundiertes Gleichgewicht zwischen den Fehlern bei Belohnungs- und Übergangsmodellen. In Experimenten auf Roboschool‑Aufgaben erzielte CaDiff eine Steigerung der Rücklaufwerte um mindestens 14,18 % im Vergleich zu etablierten Baselines.

CaDiff ist damit das erste Framework, das kausale Zustände mithilfe von Diffusionsmodellen approximiert und dabei sowohl theoretische Sicherheit als auch praktische Anwendbarkeit bietet. Es eröffnet neue Möglichkeiten für robuste Entscheidungsalgorithmen in verrauschten, teilweise beobachtbaren Szenarien.