Neue Methode entdeckt konservative Gleichgewichte in Offline-Spieltheorie

Forscher haben einen neuen Ansatz entwickelt, der es ermöglicht, stabile Strategien in komplexen Mehrspieler‑Spielen zu finden, ohne dass dafür neue Daten generiert werden müssen. Der Schlüssel liegt darin, aus einem vorgegebenen Datensatz von Zustands‑Aktions‑Trajektorien die wahrscheinlichsten Gleichgewichte zu extrahieren.

Traditionell ist es bei Offline‑Lernverfahren schwierig, die Richtigkeit einer vorgeschlagenen Lösung zu überprüfen, weil die Daten nur einen kleinen Teil der Spieldynamik abdecken. Die neue Methode bewertet stattdessen die relative Wahrscheinlichkeit von „niedrigem Regret“ – also der Nähe zu einem echten Gleichgewicht – für verschiedene Kandidaten. Dadurch kann das System gezielt nach Lösungen suchen, die mit hoher Wahrscheinlichkeit im wahren Spiel funktionieren.

Der Ansatz baut auf dem bekannten Online‑Algorithmus Policy Space Response Oracles (PSRO) auf und erweitert ihn um eine Unsicherheitsmessung der Spielmechanik. Zusätzlich wird ein spezieller Meta‑Strategie‑Solver eingeführt, der die Exploration in PSRO für das Offline‑Setting optimiert. Durch die Integration konservativer Prinzipien aus dem Offline‑Reinforcement‑Learning erhält die Methode ihren Namen: COffeE‑PSRO.

Experimentelle Ergebnisse zeigen, dass COffeE‑PSRO im Vergleich zu aktuellen Offline‑Ansätzen deutlich niedrigere Regret‑Werte erzielt. Die Studien verdeutlichen zudem, wie die einzelnen Komponenten – von der Spielfidelitätsmessung bis zur Meta‑Strategie – zusammenwirken, um die Gesamtleistung zu steigern.