Verteiltes MARL ohne zentrale Kontrolle: Methode übertrifft CTDE in StarCraftII

In einem neuen Beitrag auf arXiv wird ein völlig verteiltes Framework für Multi-Agent Reinforcement Learning vorgestellt, das die bisher dominante zentrale Trainings- und dezentrale Ausführungsstrategie (CTDE) hinter sich lässt. Durch den Verzicht auf zentrale Kritiker und globale Zustandsinformationen werden Skalierbarkeits-, Robustheits- und Generalisierungsprobleme drastisch reduziert.

Das Herzstück des Ansatzes ist ein Distributed Graph Attention Network (D‑GAT), das über mehrstufige Peer‑to‑Peer-Kommunikation globale Zustandsinferenz ermöglicht. Jeder Agent integriert dabei die Merkmale seiner Nachbarn mithilfe inputabhängiger Aufmerksamkeitsgewichte, ohne dass zentrale Koordination nötig ist. Auf dieser Basis wird die Distributed Graph‑Attention MAPPO (DG‑MAPPO) entwickelt, bei der Agenten lokale Politiken und Wertfunktionen ausschließlich mit lokalen Beobachtungen, mehrstufiger Kommunikation und gemeinsam geteilten Belohnungen optimieren.

Experimentelle Tests auf den anspruchsvollen Benchmarks StarCraftII Multi‑Agent Challenge, Google Research Football und Multi‑Agent Mujoco zeigen, dass DG‑MAPPO die leistungsstarken CTDE‑Baselines konsequent übertrifft. Die Methode erzielt eine überlegene Koordination in einer Vielzahl kooperativer Aufgaben, sowohl bei homogenen als auch bei heterogenen Teams, und demonstriert damit eine skalierbare, robuste und anpassungsfähige Lösung für verteilte Multi‑Agent‑Systeme.