Effiziente Nachrichtenkompression verbessert kooperative Multi-Agent-Lernleistung

In der graphbasierten Multi-Agenten‑Reinforcement‑Learning‑Forschung ermöglichen Agenten, die als Knoten und ihre Kommunikationsverbindungen als Kanten modelliert werden, koordinierte Handlungen trotz partieller Beobachtbarkeit. Während aktuelle Ansätze hervorragend lernen, welche Agenten miteinander kommunizieren, vernachlässigen sie bislang, welche Informationen unter strengen Bandbreitenbeschränkungen übertragen werden sollen.

Die neue Studie untersucht diesen knappen Regime und zeigt, dass einfache Dimensionsreduktion die Koordination konsequent verschlechtert. Starke Bandbreitenlimits erfordern gezielte Kodierung, doch deterministische Projektionen bieten keine Möglichkeit, die Kompression zu steuern.

Hier kommt Bandwidth‑constrained Variational Message Encoding (BVME) ins Spiel: ein leichtgewichtiges Modul, das Nachrichten als Stichproben aus lernbaren Gauß‑Posterioren behandelt und durch KL‑Divergenz zu einer uninformativen Prior reguliert. Das variationale Framework liefert ein principielles, anpassbares Steuerungssignal für die Kompressionsstärke über leicht interpretierbare Hyperparameter und begrenzt damit direkt die für Entscheidungen genutzten Repräsentationen.

In den Benchmarks SMACv1, SMACv2 und MPE erzielt BVME vergleichbare oder sogar bessere Leistungen, während es 67 % bis 83 % weniger Dimensionsgrößen nutzt. Der größte Gewinn zeigt sich bei spärlichen Graphen, wo die Qualität der Nachrichten die Koordination entscheidend beeinflusst. Ablationsstudien offenbaren eine U‑förmige Empfindlichkeit gegenüber Bandbreiten: BVME glänzt bei extremen Verhältnissen und verursacht dabei nur minimale Overhead.