KD-MARL: Wissensdistillation für ressourcenschonende Multi-Agenten-LL

Die praktische Anwendung von Multi-Agenten‑Reinforcement‑Learning (MARL) wird durch begrenzte Rechenleistung, Speicher und Inferenzzeit stark eingeschränkt. Zwar liefern Expert*innen‑Modelle hervorragende Leistungen, doch ihre großen Entscheidungszyklen und umfangreichen Architekturen sind für Edge‑Geräte oder eingebettete Systeme ungeeignet.

Wissensdistillation (KD) gilt als vielversprechender Ansatz, um diese Engpässe zu überwinden. Bisher konzentrierten sich KD‑Methoden im MARL‑Bereich jedoch hauptsächlich auf die Nachahmung einzelner Aktionen und berücksichtigten kaum die Koordinationsstruktur oder heterogene Agentenfähigkeiten.

Die neue Methode KD‑MARL bietet einen zweistufigen Rahmen, der koordiniertes Verhalten von einem zentralen Experten auf leichte, dezentrale Student*innen‑Agenten überträgt. Dabei wird auf einen Critic verzichtet und stattdessen distillierte Vorteilssignale sowie strukturierte Politik‑Supervision eingesetzt, um die Koordination unter heterogenen und begrenzten Beobachtungen zu erhalten.

KD‑MARL überträgt sowohl das Aktionsverhalten als auch die strukturellen Koordinationsmuster des Experten. Gleichzeitig ermöglicht es heterogene Student‑Architekturen, sodass die Modellkapazität jedes Agenten an die Komplexität seiner Beobachtungen angepasst wird – ein entscheidender Faktor für effiziente Ausführung bei partieller Beobachtbarkeit und eingeschränkten On‑Board‑Ressourcen.

Umfangreiche Tests auf den Benchmarks SMAC und MPE zeigen, dass KD‑MARL die Leistung des Experten über 90 % beibehält, während der Rechenaufwand deutlich reduziert wird. Damit eröffnet die Methode einen praktikablen Weg, hochleistungsfähige MARL‑Systeme ressourcenschonend auf realen Plattformen einzusetzen.