Neue Einsichten in die Cramér-Metrik des Bellman-Operators

In der distributionalen Verstärkungslern‑Forschung (DRL) wird die Entwicklung ganzer Rückkehrverteilungen durch Bellman‑Updates untersucht, statt nur Erwartungswerte zu betrachten. Ein klassisches Resultat besagt, dass der distributionale Bellman‑Operator unter der Cramér‑Metrik kontraktiv ist – eine L²‑Geometrie auf Differenzen von kumulativen Verteilungsfunktionen (CDFs). Dieses Kontraktionsverhalten garantiert die Stabilität der Politik‑Bewertung, doch bisherige Analysen beschränken sich meist auf metrische Eigenschaften und erklären nicht, wie der Bellman‑Update selbst die Verteilungen strukturell verändert.

Die vorliegende Arbeit geht direkt auf CDF‑Ebene vor und nutzt die Cramér‑Geometrie als intrinsisches Analyse‑Framework. Dort wirkt der Bellman‑Update affinität auf CDFs und linear auf deren Differenzen. Die Kontraktion liefert eine einheitliche Schranke für diese lineare Wirkung, wodurch die Operatorstruktur des Bellman‑Updates klarer wird.

Auf dieser Grundlage wird eine Familie regulierter spektraler Hilbert‑Darstellungen entwickelt, die die CDF‑Geometrie exakt durch Konjugation realisieren, ohne die zugrunde liegenden Bellman‑Dynamiken zu verändern. Die Regulierung wirkt ausschließlich auf die Geometrie und verschwindet im Grenzfall der Null‑Regulierung, wodurch die ursprüngliche Cramér‑Metrik wiederhergestellt wird.

Dieses neue Rahmenwerk macht die Operatorstruktur der distributionalen Bellman‑Updates transparent und legt eine solide Basis für weiterführende funktionale und operatortheoretische Untersuchungen im Bereich der distributionalen Verstärkungslern‑Algorithmen.