Transformer-Ansatz vereint Multi-Agent- und Single-Agent-Lernen

In der kooperativen Multi-Agenten‑Reinforcement‑Learning‑Forschung (MARL) stellen große Beobachtungs‑ und Aktionsräume häufig ein Hindernis dar. Durch die Zerlegung eines zentralen Steuerungsproblems in mehrere interagierende Agenten entstehen jedoch neue Probleme wie Nicht‑Stationarität, instabile Trainingsläufe, schwache Koordination und begrenzte theoretische Garantien.

Die neue Methode, der Consensus Multi‑Agent Transformer (CMAT), löst diese Schwierigkeiten, indem sie alle Agenten als ein einziges, zusammenhängendes System behandelt. Ein Transformer‑Encoder verarbeitet die umfangreiche gemeinsame Beobachtungsmenge, während ein hierarchischer Entscheidungsmechanismus über einen Decoder ein latentes Konsens‑Vektor erzeugt, das die Abstimmung der Agenten simuliert.

Auf Basis dieses Konsens generieren sämtliche Agenten gleichzeitig ihre Aktionen. Dadurch wird die Entscheidung order‑unabhängig, was die Sensitivität gegenüber der Reihenfolge der Aktionsgenerierung – ein typisches Problem bei herkömmlichen Multi‑Agenten‑Transformern – eliminiert. Die gesamte Politik kann damit mit dem Single‑Agent‑PPO‑Algorithmus optimiert werden, ohne die Ausdruckskraft der Koordination zu verlieren.

Experimentelle Tests auf etablierten Benchmarks wie StarCraft II, Multi‑Agent MuJoCo und Google Research Football zeigen, dass CMAT die Leistung bestehender Ansätze übertrifft und damit einen bedeutenden Fortschritt für die Praxis von MARL darstellt.