Effiziente Q-Measure-Learning-Methodik für kontinuierliche Zustände in RL

In einer neuen Veröffentlichung auf arXiv wird ein innovativer Ansatz für Reinforcement Learning in Markov-Entscheidungsprozessen mit kontinuierlichen Zuständen vorgestellt. Der Fokus liegt dabei auf unendlichen Zeithorizonten mit diskontierten Belohnungen, wobei die Daten aus einer einzigen Online-Trajektorie unter einer Markov‑basierten Verhaltenspolitik gewonnen werden.

Der Kern des Ansatzes ist das sogenannte Q‑Measure‑Learning. Anstatt ein unendliches Funktionsmodell zu schätzen, lernt das Verfahren eine signierte empirische Messung, die ausschließlich auf den tatsächlich besuchten Zustand‑Aktion‑Paaren basiert. Durch die Integration dieser Messung mit einem Kernel wird anschließend eine Schätzung der Aktionswertfunktion (Q‑Funktion) rekonstruiert.

Dank der Kombination von stochastischer Approximation für die stationäre Verteilung der Verhaltenkette und die Q‑Messung entsteht eine gewichtungsbasierte Implementierung, die nur O(n) Speicher und O(n) Rechenaufwand pro Iteration erfordert. Damit ist der Algorithmus besonders für große Datensätze geeignet.

Die Autoren zeigen, dass bei einer gleichmäßig ergodischen Verhaltenkette die Q‑Funktion fast sicher im Sup‑Norm‑Abstand zum Fixpunkt eines kern‑glätteten Bellman‑Operators konvergiert. Zusätzlich wird die Approximationsebene zwischen diesem Grenzwert und der optimalen Q‑Funktion in Abhängigkeit von der Kernelbandbreite quantifiziert.

Zur Validierung des Verfahrens wurden Experimente in einem Zwei‑Artikel‑Lagerbestandsmodell durchgeführt, die die Leistungsfähigkeit des Q‑Measure‑Learning im Vergleich zu herkömmlichen Methoden demonstrieren.