Neue Methode vereint Entropie und Minimax für optimale MDP-Abdeckung

In einer kürzlich veröffentlichten Arbeit auf arXiv wird ein neues, einheitliches Konzept für die gezielte Erkundung von Zustands-Aktions-Paaren in belohnungsfreien Markov-Entscheidungsproblemen (MDPs) vorgestellt. Die Autoren betonen, dass unterschiedliche Paare verschieden wichtige oder schwierige Eigenschaften besitzen, die in einer kontrollierten Erkundungsstrategie aktiv berücksichtigt werden müssen.

Hierfür führen sie eine gewichtete und parametrisierte Familie von konvexen Abdeckungszielen ein, die als Uρ bezeichnet wird und direkt auf den Besuchsmaßzahlen von Zustands-Aktions-Paaren basiert. Diese Familie vereint mehrere bekannte Ziele – von divergenzbasierten Marginal-Matching-Methoden über gewichtete Durchschnittsabdeckung bis hin zur Worst‑Case‑(Minimax)‑Abdeckung – in einem einzigen Rahmen. Die Konvexität von Uρ spiegelt die abnehmenden Renditen bei Über-Erkundung wider, während die geschlossene Form des Gradienten eine gezielte Steuerung ermöglicht, um untererkundete Paare zu priorisieren.

Auf Basis dieser Struktur entwickeln die Forscher einen Gradienten‑basierten Algorithmus, der die erzeugte Besuchsverteilung aktiv in ein gewünschtes Abdeckungsmuster lenkt. Sie zeigen zudem, dass mit zunehmendem Parameter ρ die Erkundungsstrategie stärker auf die wenigsten erkundeten Paare abzielt und im Grenzfall das Verhalten einer Worst‑Case‑Abdeckung annimmt. Diese Ergebnisse liefern einen flexiblen Ansatz, um explorative Strategien in MDPs systematisch zu gestalten und gleichzeitig die Effizienz der Erkundung zu maximieren.