Q‑Learning bleibt stabil – neue Einblicke in die Konvergenz

In einer aktuellen Veröffentlichung auf arXiv wird gezeigt, dass Q‑Learning mit linearer Funktionsapproximation unter der sogenannten $(\varepsilon,\kappa)$‑tamed Gibbs‑Policy stabil bleibt. Das bedeutet, die Parameter des Modells bleiben stets beschränkt und es existiert eine Lösung der projizierten Bellman‑Gleichung (PBE). Diese Resultate gelten für beliebige Werte von $\kappa$ (der Inversen Temperatur) und für jedes $\varepsilon>0$, das zusätzliche Exploration einführt.

Frühere Arbeiten hatten die Stabilität bereits für tabellarische und lineare MDPs bewiesen, jedoch blieb die Frage der Eindeutigkeit der PBE‑Lösung und der Konvergenzbedingungen außerhalb dieser Standardfälle offen. Das neue Papier erweitert die Theorie auf weitere Varianten von Q‑Learning und klärt frühere Unklarheiten. Ein eindimensionales Beispiel zeigt, dass bei einer „oblivious“ Trainingspolicy keine Lösung oder sogar mehrere Lösungen der PBE existieren können – in beiden Fällen ist der Algorithmus nicht stabil.

Damit wird deutlich, dass für die Konvergenz mehr Struktur erforderlich ist. Das Autorenbeispiel demonstriert, dass selbst bei einer idealen Basis, in der die wahre Q‑Funktion im Spannraum liegt, zwei unterschiedliche Lösungen der PBE auftreten können. Diese beiden Lösungen existieren sowohl unter der Greedy‑Policy als auch unter der $(\varepsilon,\kappa)$‑tamed Gibbs‑Policy, solange $\varepsilon$ klein genug ist und $\kappa\ge 1$.

Die Arbeit liefert somit wichtige neue Kriterien für die Stabilität und Konvergenz von Q‑Learning in komplexeren Lernumgebungen und legt damit einen soliden Grundstein für zukünftige Forschungen in der Verstärkungslern‑Theorie.