Reliable Policy Iteration: Leistungsstabilität bei Architektur- und Umweltänderungen

In einer neuen Veröffentlichung präsentiert das Forschungsteam Reliable Policy Iteration (RPI), eine Methode, die die Monotonie der Wertschätzungen in der Policy‑Iteration wiederherstellt – ein entscheidendes Merkmal, das bisher nur in idealen, linearen Modellen galt. RPI erweitert dieses Prinzip auf die komplexe Welt der Funktionsapproximationen, wodurch die Stabilität der Lernschritte signifikant verbessert wird.

Um die Robustheit von RPI zu prüfen, wurden die klassischen Kontrollaufgaben CartPole und Inverted Pendulum eingesetzt. Dabei wurden sowohl die Architektur der neuronalen Netze als auch die Umgebungsparameter systematisch variiert. Die Ergebnisse zeigen, dass RPI unter allen getesteten Bedingungen eine hohe Leistung beibehält.

Im Vergleich zu etablierten Deep‑RL‑Algorithmen wie DQN, Double DQN, DDPG, TD3 und PPO erreicht RPI frühzeitig nahezu optimale Ergebnisse und hält diese Leistung während des gesamten Trainingsprozesses konstant. Diese Konsistenz ist besonders bemerkenswert, da die meisten Deep‑RL‑Methoden häufig von Stichprobenineffizienz, Trainingsinstabilität und empfindlicher Hyperparameterwahl betroffen sind.

Die Studie unterstreicht damit das Potenzial von RPI als verlässlichere Alternative im Bereich des Deep Reinforcement Learning. Durch die Kombination aus schneller Konvergenz und anhaltender Stabilität könnte RPI die Entwicklung robusterer Lernsysteme in dynamischen und unsicheren Umgebungen vorantreiben.