SkyNet: Intelligente Planung in unsicheren, stochastischen Mehrspieler‑Spielen

Im Jahr 2019 stellte Google DeepMind MuZero vor – ein modellbasiertes Reinforcement‑Learning‑System, das in Spielen mit vollständiger Information beeindruckende Ergebnisse erzielt. Doch in realen Szenarien, in denen Agenten mit unsichtbaren Zuständen, Zufälligkeiten und mehreren Spielern konfrontiert sind, blieb MuZero bislang hinter den Erwartungen.

Ein zentrales Problem ist, dass MuZero keine explizite Modellierung von Glaubenszuständen (belief states) besitzt. Das latente Encoding speichert zwar Dynamik, aber keine klare Darstellung der Unsicherheit über verborgene Variablen, was in unsicheren Umgebungen entscheidend ist.

Mit SkyNet – dem belief‑aware MuZero – wird dieses Defizit behoben. Durch ego‑bedingte Hilfsziele für Gewinnervorhersage und Rangschätzung wird das latente Modell gezwungen, Informationen zu behalten, die unter partieller Beobachtbarkeit die Ergebnisse vorhersagen. Dabei bleibt die Grundarchitektur unverändert, ohne zusätzliche Belief‑Tracking‑Mechanismen oder Änderungen am Suchalgorithmus.

Die Leistung von SkyNet wurde im Kartenspiel Skyjo getestet, einem nicht‑Null‑Sum‑, stochastischen Spiel mit partieller Beobachtbarkeit. Mit einer transformer‑basierten Codierung, einer Lernkurve aus heuristischen Gegnern und Selbstspiel‑Training erreichte SkyNet in 1.000 Head‑to‑Head‑Spielen einen Spitzen‑Gewinnanteil von 75,3 % gegenüber dem Baseline-Modell – ein Elo‑Gewinn von +194 und eine statistisch signifikante Verbesserung (p < 10⁻⁵⁰). Gegen heuristische Gegner erzielte SkyNet zudem 0,720 Gewinnanteil im Vergleich zu 0,466 des Baselines.

Diese Ergebnisse zeigen, dass belief‑aware Planung in partiell beobachtbaren, stochastischen Mehrspieler‑Spielen einen deutlichen Leistungszuwachs ermöglicht. Die Technologie hat das Potenzial, in Bereichen wie autonomer Verhandlung, Finanzhandel und Multi‑Agenten‑Robotik neue Maßstäbe zu setzen.