Online-Lernen in CMDPs: Near-Optimale Samplekomplexität erreicht

In der Verstärkungslern‑Forschung stellt die Gewährleistung von Sicherheit ein zentrales Problem dar – besonders in Bereichen wie autonomes Fahren, Robotik und Gesundheitswesen. Um diese Anforderungen zu erfüllen, greifen Forscher häufig auf Constrained Markov Decision Processes (CMDPs) zurück, die Sicherheitsbedingungen mit Leistungsoptimierung verknüpfen.

Traditionelle Ansätze leiden jedoch unter erheblichen Sicherheitsverletzungen oder benötigen eine enorme Anzahl an Trainingsbeispielen, um nahezu optimale Strategien zu finden. Die neue Arbeit unterscheidet zwei Szenarien: bei „relaxed feasibility“ sind geringe Verstöße zulässig, während bei „strict feasibility“ keine Verletzungen erlaubt sind.

Der vorgestellte modellbasierte Primal‑Dual‑Algorithmus kombiniert Techniken aus Online‑RL und konstrahierter Optimierung, um gleichzeitig Regret zu minimieren und die Einhaltung der Grenzen zu kontrollieren. Für das relaxed‑Feasibility‑Setting liefert der Algorithmus mit hoher Wahrscheinlichkeit eine ε‑optimale Politik und begrenzte Verstöße bei einer Lernepisodezahl von etwa O(SAH³/ε²), was dem theoretischen Minimum für unbeschränkte MDPs entspricht. Im strict‑Feasibility‑Fall erreicht er eine ε‑optimale Lösung ohne Verstöße bei etwa O(SAH⁵/(ε²ζ²)) Episoden, wobei ζ die problemabhängige Slater‑Konstante ist. Diese Resultate stimmen mit den bekannten unteren Schranken für CMDPs überein.

Die Erkenntnisse zeigen, dass das Online‑Lernen von CMDPs praktisch genauso effizient sein kann wie das Lernen unbeschränkter MDPs. Damit eröffnet sich ein vielversprechender Weg, sichere Entscheidungsprozesse in komplexen, realen Umgebungen zuverlässig und daten­effizient zu gestalten.