Online-Lernen Markov-Spielen: Empirischer Nash-Wert-Fehler & Nicht-Stationarität

In einer neuen Studie auf arXiv wird das Online-Lernen in zwei‑Spieler‑Markov‑Spielen ohne Beobachtung der gegnerischen Aktionen untersucht. Frühere Arbeiten, insbesondere Tian et al. (2021), haben gezeigt, dass ein externer Regret‑Null‑Ergebnis ohne exponentielle Abhängigkeit von der Episodenlänge H nicht erreichbar ist. Darauf aufbauend wurde ein V‑Learning‑Algorithmus vorgestellt, der einen Regret‑Wert von O(K^{2/3}) für den Nash‑Wert‑Regret erzielt.

Der neue Beitrag geht jedoch einen Schritt weiter: Er führt den empirischen Nash‑Wert‑Regret ein, eine stärkere Metrik, die sich bei festem Gegner exakt zum externen Regret reduziert. Damit wird die bisherige Unfähigkeit, sich an die Schwierigkeit des Problems anzupassen, behoben. Der vorgeschlagene parameterfreie Algorithmus erreicht einen Regret‑Grenzwert von O(min{√K + (CK)^{1/3}, √(LK)}), wobei C die Varianz der gegnerischen Strategien und L die Anzahl der Strategiewechsel misst.

Die Ergebnisse schließen die beiden Extremfälle nahtlos ein: Bei einem festen Gegner wird der klassische Regret‑Wert von O(√K) erreicht, während im schlimmsten Fall der Nash‑Wert‑Regret von O(K^{2/3}) gilt. Gleichzeitig interpoliert der Algorithmus automatisch zwischen diesen Extremen und passt sich der Nicht‑Stationarität des Gegners an, ohne dass zusätzliche Parameter eingestellt werden müssen.