Modellbasiertes Multi-Agent RL mit gemeinsamen State-Action-Embeddings

Ein neues, modellbasiertes Multi-Agent Reinforcement‑Learning‑Framework kombiniert die Lernphase von Zustands‑ und Aktionsrepräsentationen mit imaginären Roll‑Outs. Dabei wird ein Weltmodell mittels variationaler Autoencoder trainiert und mit einem sogenannten State‑Action Learned Embedding (SALE) angereichert. Das Embedding fließt sowohl in die Imaginationseinheit ein, die plausible zukünftige Szenarien simuliert, als auch in das gemeinsame Agenten‑Netzwerk, dessen individuelle Aktionswerte über ein Mixing‑Netzwerk zu einer gemeinsamen Aktionswertfunktion zusammengeführt werden.

Durch die Verknüpfung von imaginären Trajektorien und SALE‑basierten Aktionswerten gewinnen die Agenten ein tieferes Verständnis dafür, wie ihre Entscheidungen kollektive Ergebnisse beeinflussen. Dies führt zu einer verbesserten langfristigen Planung und Optimierung, selbst wenn die Interaktionen mit der realen Umgebung begrenzt sind.

Experimentelle Tests auf etablierten Multi‑Agent‑Benchmarks – darunter StarCraft II Micro‑Management, Multi‑Agent MuJoCo und Level‑Based Foraging – zeigen konsistente Leistungssteigerungen gegenüber bestehenden Baselines. Die Ergebnisse unterstreichen die Wirksamkeit von gemeinsamen State‑Action‑Embeddings in einem modellbasierten Multi‑Agent‑Paradigma.