Effiziente Algorithmen für robuste MDPs mit beliebiger Politikparametrisierung

In einer wegweisenden Veröffentlichung präsentiert ein Forschungsteam neue, provably effiziente Algorithmen für robuste Markov-Entscheidungsprozesse (RMDPs), die beliebige Politikparametrisierungen unterstützen. Im Gegensatz zu bisherigen Arbeiten, die sich meist auf tabellarische Politiken beschränkten, adressiert die Studie sowohl s-rectangulare als auch nicht-rectangulare Unsicherheitsmengen und liefert damit weitreichende theoretische Fortschritte.

Der Kernansatz besteht darin, durchschnittlich belohnungsorientierte RMDPs in entropie-regularisierte, diskontierte robuste MDPs zu überführen. Diese Transformation stellt die starke Dualität wieder her und ermöglicht die effiziente Berechnung von Gleichgewichten. Durch diese Umformulierung können die Autoren neue Lipschitz- und Lipschitz‑Glattheits­eigenschaften für allgemeine Politikparametrisierungen beweisen, die sogar auf unendliche Zustandsräume anwendbar sind.

Zur Schätzung von Gradienten über unendliche Horizonte führt das Team einen Multilevel‑Monte‑Carlo‑Gradienten­estimator ein, der eine Sample‑Complexity von \(\tilde{\mathcal{O}}(\varepsilon^{-2})\) erreicht – ein deutlicher Fortschritt gegenüber früheren Ansätzen. Aufbauend darauf entwickeln sie einen projizierten Gradienten­abstieg für s‑rectangulare Unsicherheiten mit \(\mathcal{O}(\varepsilon^{-5})\) und einen Frank–Wolfe‑Algorithmus für nicht‑rectangulare Unsicherheiten, der im diskontierten Setting \(\mathcal{O}(\varepsilon^{-4})\) und im durchschnittlichen Belohnungs­setting \(\mathcal{O}(\varepsilon^{-10,5})\) erreicht.

Diese Ergebnisse stellen die erste Veröffentlichung dar, die Sample‑Complexity‑Garantie­n für RMDPs mit beliebiger Politikparametrisierung über die klassische (s,a)-Rectangularität hinaus liefert. Darüber hinaus sind sie die ersten, die solche Garantien im durchschnittlichen Belohnungs­setting anbieten und bestehende Grenzen für diskontierte robuste MDPs signifikant verbessern. Die Arbeit eröffnet damit neue Perspektiven für die effiziente Lösung von robusten Entscheidungsproblemen in komplexen, kontinuierlichen Umgebungen.