Neuer Actor-Critic-Algorithmus verbindet Interpretierbarkeit mit Optimierung

Ein neuer Ansatz im Bereich des Reinforcement Learning, der die bisherige Lücke zwischen Optimierung und Erklärbarkeit schließt, wurde auf arXiv veröffentlicht. Der Algorithmus, genannt RSA2C (RKHS–SHAP-based Advanced Actor–Critic), kombiniert klassische Actor‑Critic‑Methoden mit einer fortschrittlichen, interpretierbaren Architektur, die auf reproduzierenden Kernelspektren (RKHS) basiert.

Im Kern nutzt RSA2C einen vektorwertigen RKHS mit einem Mahalanobis‑gewichteten, operatorwertigen Kernel für den Actor, während Value‑ und Advantage‑Critics in skalaren RKHSs arbeiten. Durch sparsifizierte Dictionaries, die jeweils eigene oder geteilte Wörterbücher besitzen, wird die Rechenkomplexität reduziert. Die wichtigsten Neuerungen liegen in der Verwendung von RKHS–SHAP, einem Verfahren zur Berechnung von Zustandsattributionen, das sowohl on‑Manifold‑ als auch off‑Manifold‑Erwartungen berücksichtigt.

Die ermittelten Zustandsattributionen werden in Mahalanobis‑gewichtete Faktoren umgewandelt, die die Gradienten des Actors und die Ziele des Advantage‑Critics modulieren. Theoretisch liefert das Team einen globalen, nicht‑asymptotischen Konvergenzbeweis, der die Stabilität bei Zustandsstörungen und die Effizienz der Lernschritte quantifiziert. Praktische Tests in drei Standard‑Umgebungen für kontinuierliche Steuerung zeigen, dass RSA2C nicht nur effizienter und stabiler als herkömmliche Methoden arbeitet, sondern gleichzeitig eine klare, nachvollziehbare Erklärung für die Entscheidungsfindung liefert.