Meta-kognitive RL mit Selbstzweifel: Lernverhalten zuverlässig steuern

In der Welt des Verstärkungslernens konzentrieren sich robuste Methoden meist darauf, unzuverlässige Erfahrungen oder verfälschte Belohnungen zu unterdrücken. Sie besitzen jedoch keine Möglichkeit, die Zuverlässigkeit ihres eigenen Lernprozesses zu beurteilen. Das führt häufig dazu, dass sie entweder zu stark auf Rauschen reagieren und dadurch übermäßig konservativ werden, oder im schlimmsten Fall scheitern, wenn Unsicherheit anhäuft.

Um dieses Problem zu lösen, stellt die neue Arbeit einen meta-kognitiven Rahmen vor, der es einem Agenten ermöglicht, die Vertrauenswürdigkeit seiner Lernaktivitäten intern zu bewerten, zu regulieren und bei Bedarf wiederherzustellen. Der Ansatz nutzt ein internes Vertrauenssignal, das auf der Stabilität der Vorhersagefehler (Value Prediction Error Stability, VPES) basiert.

Das eingeführte Meta-Vertrauensvariable steuert die Lerndynamik durch ein Fail‑Safe‑Regulierungsmechanismus und ermöglicht eine schrittweise Wiederherstellung des Vertrauens. Dadurch kann der Agent bei Unsicherheit vorsichtig agieren, ohne dauerhaft zu konservativ zu werden.

Experimentelle Tests auf kontinuierlichen Kontrollbenchmarks mit belohnungsbasierten Störungen zeigen, dass der meta-kognitive Ansatz mit Wiederherstellungsmechanismen höhere durchschnittliche Erträge erzielt und die Anzahl der Trainingsfehler in späteren Phasen deutlich reduziert, verglichen mit etablierten robusten Baselines.