Neues Verfahren beschleunigt Policy-Iteration bei POMDPs

Forscher haben einen neuen Ansatz entwickelt, der die klassische Policy‑Iteration für episodische Partially Observable Markov Decision Processes (POMDPs) deutlich effizienter macht. Anstatt im hochdimensionalen Zustandsraum zu arbeiten, nutzt das Verfahren reine Ausgabedaten und führt stufenweise Verbesserungen durch, die sich über mehrere Zeitschritte hinweg gegenseitig beeinflussen.

Die Methode kombiniert einzelne, ausgabebasierte Policy‑Verbesserungen mit periodischen Policy‑Evaluierungen. Durch die Analyse verschiedener Muster konnten die Autoren die optimale Periodenlänge bestimmen, die die Rechenzeit minimiert. Ein besonders einfaches Muster mit minimalem Zyklus wurde identifiziert, das die Berechnungsleistung maximiert.

Darüber hinaus wurde eine modellfreie Variante eingeführt, die Werte aus Rohdaten schätzt und direkt memoryless Policies lernt. In mehreren POMDP‑Beispielen zeigte sich, dass dieser Ansatz die Laufzeit gegenüber herkömmlichen Policy‑Gradient‑Methoden und spezialisierten Algorithmen sowohl im modellbasierten als auch im modellfreien Kontext deutlich reduziert.