TIGER: Dynamische Graphen steigern Multi-Agenten-Lernen

In einer neuen Veröffentlichung auf arXiv wird das Konzept TIGER vorgestellt, das temporale Informationen in Multi-Agenten-Reinforcement-Learning (MARL) durch graphbasierte Einbettungen nutzt. Das Verfahren modelliert explizit, wie Koordinationsstrukturen zwischen Agenten im Zeitverlauf wechseln, anstatt sich auf statische oder schrittweise Relationen zu beschränken.

TIGER erstellt dynamische, zeitabhängige Graphen, die aktuelle und historische Interaktionen der Agenten verbinden. Anschließend wird ein auf temporaler Aufmerksamkeit basierender Encoder eingesetzt, um Informationen über diese strukturellen und zeitlichen Nachbarschaften zu aggregieren. Das Ergebnis sind zeitbewusste Agenten-Embeddings, die die kooperative Politikentwicklung gezielt unterstützen.

Durch umfangreiche Experimente auf zwei koordinationstätigen Benchmarks konnte gezeigt werden, dass TIGER die Leistung und Stichproben-Effizienz gegenüber diversen Wertdekompositions- und graphbasierten MARL-Baselines deutlich verbessert. Ergänzend wurden Ablationsstudien durchgeführt, die die Bedeutung von strukturellen und temporalen Faktoren für die Effektivität der Politiklernprozesse verdeutlichen.

Der komplette Code ist auf GitHub verfügbar: https://github.com/Nikunj-Gupta/tiger-marl.