Neues Ergebnis: O(1/n)-Stabilität bei Bellman-Residual-Minimierung

Die jüngste Veröffentlichung auf arXiv (2508.18741v1) liefert ein bahnbrechendes Ergebnis für das Offline‑Reinforcement‑Learning. Forscher haben gezeigt, dass die Bellman‑Residual‑Minimierung (BRM) – ein Verfahren, das die Konsistenz der Bellman‑Gleichung garantiert – statistisch ein O(1/n)-Verhalten aufweist, ohne dass zusätzliche Variance‑Reduction‑Techniken oder strenge Regularisierungen nötig sind.

Das Ergebnis basiert auf einer eleganten Analyse, die eine einzige Lyapunov‑Potenzialfunktion nutzt, um Stochastic Gradient Descent–Ascent (SGDA) auf benachbarten Datensätzen zu koppeln. Dadurch wird ein Argument‑Stabilitäts‑Bound von O(1/n) erzielt, was den bisher bekannten Exponenten für konvex-konkave Saddle‑Probleme verdoppelt. Gleiches Stabilitätskonstante führt direkt zu einem O(1/n)-Excess‑Risk‑Bound für BRM.

Wichtig ist, dass die Resultate für gängige neuronale‑Netz‑Parameterisierungen und Mini‑Batch‑SGD gelten. Sie erfordern keine zusätzlichen Regularisierungen, keine Variance‑Reduction oder sogar keine unabhängigen Stichproben bei der Mini‑Batch‑Auswahl. Damit eröffnet die Arbeit neue Perspektiven für die praktische Anwendung von Offline‑RL und Offline‑Inverse‑RL, indem sie die theoretische Basis für die Bellman‑Konsistenz stärkt.