SAM steigert Robustheit von Offline-RL bei Datenkorruption

Offline-Reinforcement-Learning (RL) ist in der Praxis stark anfällig für Datenkorruption. Selbst die bislang robustesten Algorithmen scheitern, wenn Beobachtungen oder Mischungen von fehlerhaften Daten betroffen sind.

Die Autoren vermuten, dass die Ursache darin liegt, dass Korruption zu scharfen Minima im Verlustlandscape führt, was die Generalisierung der Modelle stark einschränkt. Um diesem Problem entgegenzuwirken, wenden sie erstmals das Verfahren Sharpness‑Aware Minimization (SAM) als universellen, plug‑and‑play Optimierer für Offline‑RL an.

SAM sucht gezielt nach flacheren Minima und führt die Modelle in robustere Parameterbereiche. Die Technik wurde in zwei führenden Baselines integriert: IQL, ein Top‑Performer im Offline‑RL‑Setting, und RIQL, ein speziell für Korruptionsrobustheit entwickelter Algorithmus.

Auf den D4RL‑Benchmarks, die sowohl zufällige als auch gezielte (adversarial) Korruptionen simulieren, übertrifft die SAM‑verbesserte Variante die ursprünglichen Baselines konsequent und signifikant. Die Ergebnisse zeigen, dass die neuen Modelle nicht nur höhere Belohnungen erzielen, sondern auch stabiler auf verrauschte Daten reagieren.

Darüber hinaus belegen Visualisierungen der Belohnungsflächen, dass SAM zu glatteren Lösungen führt. Diese Beobachtungen liefern starke Belege dafür, dass flachere Minima die Robustheit von Offline‑RL‑Agenten deutlich verbessern können.