Neues Verfahren für durchschnittliche Belohnung in Markov-Entscheidungsprozessen

Eine aktuelle Veröffentlichung auf arXiv (Version 1 vom 1. Dezember 2025) präsentiert ein innovatives Verfahren zur Lösung von durchschnittlich belohnungsorientierten semi-Markov-Entscheidungsprozessen (SMDPs). Die Autoren nutzen ihre jüngsten Erkenntnisse zur asynchronen stochastischen Approximation im Borkar‑Meyn‑Rahmen, um das klassische Relative Value Iteration (RVI) von Schweitzer in einem Reinforcement‑Learning‑Kontext zu adaptieren.

Im Kern wird ein asynchrones SA‑Analogon des RVI‑Q‑Learning‑Algorithmus entwickelt, das speziell für endliche, schwach kommunizierende SMDPs konzipiert ist. Durch die Kombination von asynchronen Updates und stochastischer Approximation wird die Berechnung der optimalen Belohnungsrate effizienter und robuster gegenüber unregelmäßigen Datenströmen.

Die Autoren zeigen, dass der Algorithmus fast sicher zu einer kompakten, zusammenhängenden Teilmenge der Lösungen der durchschnittlichen Belohnungsoptimalitätsgleichung konvergiert. Unter zusätzlichen Bedingungen für Schrittgrößen und Asynchronie erreicht er sogar die Konvergenz zu einer eindeutigen, sample‑path‑abhängigen Lösung. Diese Resultate stellen einen bedeutenden Fortschritt in der theoretischen Fundierung von RL‑Methoden für SMDPs dar.

Ein weiteres Highlight der Arbeit ist die Einführung neuer Monotoniebedingungen zur Schätzung der optimalen Belohnungsrate im RVI‑Q‑Learning. Diese Bedingungen erweitern den bisherigen algorithmischen Rahmen erheblich und werden durch neuartige Argumente in der Stabilitäts‑ und Konvergenzanalyse untermauert. Damit eröffnet die Studie neue Perspektiven für die praktische Anwendung von RL in komplexen Entscheidungsumgebungen mit variabler Zeitstruktur.