Sicheres Reinforcement Learning durch Rücksetzschutz mit Gaußschen Prozess-Modellen

Reinforcement Learning (RL) hat sich als leistungsstarkes Werkzeug für optimale Entscheidungsfindung und Steuerung etabliert, doch in sicherheitskritischen Anwendungen fehlt oft eine verlässliche Garantie. In einer neuen Veröffentlichung wird ein innovatives, rücksetzbasiertes Schutzsystem vorgestellt, das sichere RL-Algorithmen mit einer nachweisbaren Sicherheitsuntergrenze für unbekannte, nichtlineare kontinuierliche Dynamiksysteme ermöglicht.

Der Ansatz kombiniert einen Backup-Policy-„Schutz“ mit dem RL-Agenten und nutzt dabei Unsicherheitsabschätzungen aus Gaußschen Prozessen (GP), um potenzielle Verletzungen von Sicherheitsbeschränkungen vorherzusagen. Nur wenn nötig wird dynamisch zu sicheren Trajektorien zurückgekehrt, sodass der Agent uneingeschränkt explorieren kann, ohne die Sicherheit zu gefährden.

Erfahrungen, die der „geschützte“ Agent sammelt, dienen zur Konstruktion der GP‑Modelle, während die Politikoptimierung über internes modellbasiertes Sampling erfolgt. Dadurch wird eine effiziente Lernrate erreicht, ohne die Sicherheitsintegrität zu kompromittieren. In einer Reihe kontinuierlicher Kontrollumgebungen demonstriert die Methode sowohl starke Leistungsfähigkeit als auch strikte Sicherheitskonformität.