Hybrid Differential Reward: Multi-Agent-Lernen für kooperatives Fahren

Ein neues Forschungsdokument aus dem arXiv präsentiert die Hybrid Differential Reward (HDR)-Methode, die das Multi-Agenten-Lernen in kooperativen Fahraufgaben revolutioniert. Durch die Kombination von Temporal Difference Rewards (TRD) und Action Gradient Rewards (ARG) adressiert HDR die Schwäche traditioneller, zustandsbasierter Belohnungsfunktionen, die bei hochfrequenten, kontinuierlichen Steuerungen zu nahezu verschwindenden Belohnungsunterschieden führen.

Bei solchen Aufgaben ist die Signal‑zu‑Rausch‑Verhältnisse (SNR) für Policy‑Gradients extrem niedrig, was die Konvergenz und die Leistungssteigerung der Algorithmen stark behindert. HDR löst dieses Problem, indem es zunächst die quasi‑stationäre Natur von Verkehrs­zuständen und die physikalische Nähe von Aktionen theoretisch analysiert und daraus zwei ergänzende Komponenten ableitet.

Die TRD‑Komponente nutzt eine globale Potentialfunktion, um die Entwicklung der potenziellen Energie zu verfolgen und so die Invarianz optimaler Politiken sowie die Kohärenz mit langfristigen Zielen sicherzustellen. Parallel dazu liefert die ARG‑Komponente ein lokales Leitsignal, das die marginale Nutzenwirkung einzelner Aktionen direkt misst und dadurch ein deutlich höheres SNR erzeugt.

Die Autoren modellieren das kooperative Fahrproblem als Multi‑Agenten‑Partially Observable Markov Game (POMDP) mit variabler Agenten­zahl und zeigen, wie HDR in diesem Rahmen implementiert werden kann. Umfangreiche Experimente mit Online‑Planung (MCTS) sowie Multi‑Agenten‑Reinforcement‑Learning‑Algorithmen (QMIX, MAPPO, MADDPG) demonstrieren, dass HDR die Konvergenzgeschwindigkeit erheblich beschleunigt und die Stabilität der erlernten Politiken verbessert.