Territory Paint Wars: Erfolgsfaktoren für PPO in kompetitiven Multi-Agenten

In der neuesten Veröffentlichung von ArXiv (2604.04983v1) stellen die Autoren Territory Paint Wars vor – ein kompakter, in Unity implementierter Wettbewerbssimulator für Multi-Agenten. Das Ziel ist es, die Schwachstellen von Proximal Policy Optimisation (PPO) im Selbstspiel systematisch zu untersuchen und damit ein reproduzierbares Benchmark-Tool für die Forschung zu schaffen.

Ein Agent, der 84.000 Episoden trainiert wurde, erzielt lediglich 26,8 % Siegquote gegen einen rein zufälligen Gegner in einem symmetrischen Nullsummenspiel. Durch gezielte Ablationen konnten fünf Implementierungsfehler identifiziert werden: ein Ungleichgewicht der Belohnungs‑Skala, fehlende Endsignal‑Bedingung, ineffektive Kreditzuweisung über lange Zeiträume, nicht normalisierte Beobachtungen und fehlerhafte Sieg‑Erkennung. Jede dieser Schwachstellen trägt entscheidend zum schlechten Ergebnis bei.

Nach der Behebung dieser Fehler taucht ein neues Phänomen auf: das sogenannte „competitive overfitting“. Die Agenten passen sich gegenseitig an, sodass die Selbstspiel‑Win‑Rate konstant bei etwa 50 % bleibt, während die Generalisierungs‑Win‑Rate von 73,5 % auf 21,6 % fällt. Dieses Problem bleibt mit herkömmlichen Selbstspiel‑Metriken unentdeckt, weil beide Agenten gleichmäßig co‑adaptieren.

Die Autoren schlagen eine einfache, aber wirkungsvolle Gegenmaßnahme vor: „Opponent Mixing“. Dabei werden 20 % der Trainingsepisoden mit einer festen, zufälligen Gegnerstrategie ersetzt. Diese Intervention reduziert das competitive overfitting und steigert die Generalisierungs‑Win‑Rate auf 77,1 % ± 12,6 % (10 Seeds), ohne dass Population‑Based Training oder zusätzliche Infrastruktur nötig sind. Territory Paint Wars wird als Open‑Source‑Projekt veröffentlicht, um die Forschung zu kompetitiven Multi-Agenten‑RL weiter voranzutreiben.