RUMAD: Mit Verstärkungslernen die Effizienz von Multi-Agenten‑Debatten steigern

In der Welt der Multi-Agenten‑Debatten (MAD) wird die kollektive Intelligenz genutzt, um komplexe Probleme zu lösen. Doch bisherige Ansätze kämpfen damit, gleichzeitig Genauigkeit, Konsensbildung und Rechenleistung zu optimieren. Statische Kommunikationsnetzwerke passen sich nicht flexibel an unterschiedliche Aufgaben an, und die Einbindung externer Sprachmodelle kann die Neutralität der Debatte gefährden.

RUMAD (Reinforcement‑Unifying Multi‑Agent Debate) löst dieses Problem, indem es die Steuerung der Kommunikationstopologie als Reinforcement‑Learning‑Problem formuliert. Durch ein content‑agnostisches Beobachtungsschema erfasst RUMAD die Dynamik der Debatte, ohne auf die eigentlichen Argumente der Agenten zugreifen zu müssen. Ein mehrzieliger Reward berücksichtigt gleichzeitig Lösungsgüte, Kohäsion und Effizienz.

Ein mit Proximal Policy Optimization (PPO) trainierter Controller passt die Kantengewichte im Kommunikationsgraphen dynamisch an, während ein Dual‑Threshold‑Mechanismus die Aktivierung der Agenten und die Sichtbarkeit von Informationen feinjustiert. Auf den Benchmarks MMLU, GSM8K und GPQA konnte RUMAD die Token‑Kosten um mehr als 80 % senken und gleichzeitig die Genauigkeit gegenüber einem einzelnen LLM‑Modell sowie mehreren MAD‑Baselines verbessern.

Bemerkenswert ist, dass RUMAD, obwohl ausschließlich auf MMLU trainiert, in der Lage ist, ohne weitere Anpassungen auf völlig neue Aufgaben (Zero‑Shot‑Generalisation) zu übertragen. Dies zeigt, dass die erlernten Kommunikationsstrategien auf übergreifende Prinzipien der effektiven Multi‑Agenten‑Koordination zurückgreifen.