RL-Agenten verlieren interne Entscheidungsstruktur bei Policy‑Transformation

In der Welt des Verstärkungslernens (RL) stehen Agenten häufig vor der Herausforderung, Entscheidungen zu treffen, ohne die komplette Umgebung zu sehen. Stattdessen nutzen sie interne Informationen wie Gedächtnis oder vermutete latente Zustände, um ihre Handlungen zu steuern. Diese Praxis, bei der Aktionen stark von internem Wissen abhängen, wird in der neuen Studie als „verhaltensabhängige Interaktion“ bezeichnet.

Die Autoren führen ein präzises mathematisches Rahmenwerk ein, das die Variation von Aktionen in Abhängigkeit von internem Wissen unter festen Beobachtungen misst. Sie definieren einen ε‑Verhaltensgleichheitsbegriff und eine innerhalb einer Policy gemessene Verhaltensdistanz, die die Empfindlichkeit gegenüber unterschiedlichen „Proben“ quantifiziert. Damit erhalten sie ein Werkzeug, um zu prüfen, wie stark ein Agent von seinem internen Zustand beeinflusst wird.

Die Untersuchung liefert drei zentrale strukturelle Erkenntnisse: Erstens ist die Menge aller Policies, die echte verhaltensabhängige Abhängigkeiten aufweisen, nicht unter konvexen Aggregationen abgeschlossen. Zweitens schrumpft die Verhaltensdistanz, wenn man Policies konvex kombiniert. Drittens zeigen die Autoren, dass unter einer lokalen Bedingung die Gradienten­optimierung einer schiefen Mischungs­funktion die Verhaltensdistanz reduziert, sofern der dominante Gradient in Richtung der stärksten Kontraktion zeigt.

Durch gezielte Experimente mit minimalen Bandit‑Setups und teilweise beobachtbaren Gridworld‑Umgebungen wird diese Theorie praktisch bestätigt. Dort sinkt die Verhaltensdistanz nicht nur bei konvexer Aggregation, sondern auch während der Optimierung mit schiefen latenten Prioritäten. Interessanterweise tritt dieser Abfall der Distanz immer vor einer Verschlechterung, wenn die latenten Prioritäten sich ändern. Die Ergebnisse legen somit klare strukturelle Bedingungen auf, unter denen die interne Entscheidungs­struktur eines Agenten bei üblichen Policy‑Transformationen nicht erhalten bleibt.