Trajektorienwert abhängig vom Lernalgorithmus – Policy‑Gradient‑Erkenntnisse

In einer neuen Untersuchung auf arXiv (2511.07878v1) wird gezeigt, dass der Wert einer Trajektorie in der Policy‑Gradient‑Kontrolle stark vom gewählten Lernalgorithmus abhängt. Durch die Anwendung von Trajectory Shapley in einem unsicheren LQR‑Modell konnten die Autoren eine klare negative Korrelation zwischen der Persistenz der Excitation (PE) und dem marginalen Wert unter dem klassischen REINFORCE‑Algorithmus feststellen (r ≈ –0.38).

Die Autoren führen einen variancemedierten Mechanismus nach: Für eine feste Energie führt eine höhere PE zu einer geringeren Gradientenvarianz, während sich in der Nähe von Sattelstellen eine höhere Varianz die Wahrscheinlichkeit erhöht, aus dem Sattel zu entkommen, was den marginalen Beitrag steigert. Sobald die Lernumgebung stabilisiert wird – etwa durch Zustands‑Whitening oder Fisher‑Preconditioning – wird dieser Varianzkanal neutralisiert. Dann dominiert der Informationsgehalt, und die Korrelation kippt positiv (r ≈ +0.29). Damit wird deutlich, dass der Trajektorienwert algorithmusabhängig ist.

Experimentelle Ergebnisse bestätigen die theoretische Mechanik. Zusätzlich zeigen die Studien, dass decision‑aligned Scores (Leave‑One‑Out) Shapley für das Pruning ergänzen, während Shapley selbst toxische Teilmengen identifiziert. Diese Erkenntnisse liefern neue Werkzeuge für die Analyse und Optimierung von Policy‑Gradient‑Algorithmen.