Neuer Actor-Critic-Algorithmus sichert robuste RCMDPs gegen Unsicherheit

Ein neues Verfahren aus dem arXiv-Preprint 2511.05758v1 liefert einen robusten und sicheren Ansatz für Robust Constrained Average-Cost Markov Decision Processes (RCMDPs). Das Ziel ist es, in unsicheren Umgebungen Handlungsstrategien zu finden, die sowohl die Kosten minimieren als auch die vorgegebenen Nebenbedingungen einhalten.

Die Hauptschwierigkeit liegt darin, dass in RCMDPs keine starke Dualität existiert, wodurch klassische primal-dual-Methoden für konstrahiertes Reinforcement Learning nicht direkt anwendbar sind. Zusätzlich ist die durchschnittliche Kostenformulierung problematisch, weil der robuste Bellman-Operator unter keiner Norm eine Kontraktion darstellt.

Um diese Hindernisse zu überwinden, wurde ein Actor-Critic-Algorithmus entwickelt, der sowohl ε‑Feasibility als auch ε‑Optimality garantiert. Die Analyse zeigt, dass die benötigte Stichprobengröße in etwa O~(ε⁻⁴) liegt, wenn keine Slackness‑Annahme getroffen wird, und O~(ε⁻⁶) bei Vorliegen einer solchen. Diese Komplexitäten sind mit denen im diskontinierten Setting vergleichbar.

Der Ansatz eröffnet neue Möglichkeiten für die sichere Steuerung von Systemen, bei denen langfristige Kosten und Unsicherheit im Vordergrund stehen, und demonstriert, dass robuste, durchschnittlich kostengünstige MDPs effizient gelöst werden können.