Neue Methode verbessert Offline-zu-Online RL durch energiegeleitete Diffusion

Die Überführung von Offline- zu Online-Reinforcement‑Learning stellt ein zentrales Problem dar, weil die Verteilung der Aktionen im Offline‑Datensatz von der sich im Online‑Training entwickelnden Policy abweicht. Trotz der Bekanntheit dieses Problems greifen nur wenige Ansätze darauf zurück, die Verteilungsstruktur der Offline‑Daten gezielt zu nutzen.

Mit der neuen Technik Energy‑Guided Diffusion Stratification (StratDiff) wird dieses Defizit adressiert. Ein Diffusionsmodell lernt zunächst die Grundwissen aus dem Offline‑Datensatz. Anschließend werden energiespezifische Funktionen eingesetzt, um dieses Wissen zu verfeinern, die Policy‑Imitation zu verbessern und während des Online‑Fine‑Tuning Aktionen zu erzeugen, die dem Offline‑Verhalten ähneln.

Für jedes Sample wird die KL‑Divergenz zwischen der erzeugten und der im Datensatz vorhandenen Aktion berechnet. Auf Basis dieser Werte wird das Trainingsbatch in offline‑ähnliche und online‑ähnliche Teilmengen unterteilt. Offline‑ähnliche Samples werden mit Offline‑Zielen aktualisiert, während online‑ähnliche Samples den Online‑Lernstrategien folgen.

Durch die Integration von StratDiff in bestehende Methoden wie Cal‑QL und IQL konnten die Autoren auf D4RL‑Benchmarks signifikante Verbesserungen erzielen. Die Ergebnisse zeigen eine höhere Anpassungsfähigkeit und stabilere Leistungen über verschiedene RL‑Umgebungen hinweg.