SEMDICE: Off-Policy-Algorithmus maximiert Zustandsentropie aus beliebigen Datensätzen

In der neuesten Veröffentlichung auf arXiv (2512.10042v1) präsentiert das Forschungsteam einen innovativen Ansatz namens SEMDICE, der die Entropie der Zustandsverteilung in Reinforcement‑Learning‑Umgebungen ohne aufgabenbezogene Belohnungen maximiert. Durch die Nutzung von Off‑Policy‑Daten kann SEMDICE eine robuste, stationäre Policy erzeugen, die die Vielfalt der erlebten Zustände erhöht und damit die Grundlage für spätere Aufgaben stärkt.

Der Kern des Verfahrens liegt in der direkten Optimierung innerhalb des Raums stationärer Verteilungen. SEMDICE schätzt die stationäre Zustandsverteilung eines beliebigen Datensatzes und berechnet daraus eine Policy, die diese Entropie maximiert. Dieser Ansatz unterscheidet sich von herkömmlichen Methoden, die oft auf Policy‑Gradienten oder Value‑Learning setzen, und bietet eine klare theoretische Basis für die Entropie‑Maximierung.

Experimentelle Ergebnisse zeigen, dass SEMDICE bestehende Baselines bei der Zustandsentropie übertrifft und gleichzeitig die Anpassungsfähigkeit an nachgelagerte Aufgaben verbessert. Besonders hervorzuheben ist die Effizienz bei der Nutzung von vortrainierten Policies für neue Aufgaben, was SEMDICE zu einer vielversprechenden Technik für unsupervised RL‑Pretraining macht.