MUG: Multi-Agent Undercover Gaming reduziert Halluzinationen bei LLMs
Die fortschreitende Entwicklung großer Sprachmodelle (LLMs) hat die Möglichkeit eröffnet, komplexe Aufgaben zu lösen – doch die Gefahr von Halluzinationen, also falschen oder ungenauen Ausgaben, bleibt ein ernstes Hindernis. Das bisherige Multi‑Agent Debate (MAD)-Paradigma versucht, die Zuverlässigkeit zu erhöhen, indem mehrere Agenten gemeinsam zu einer Konsensantwort gelangen. Dabei wird jedoch unrealistisch angenommen, dass alle Debattierer rational und reflektiert handeln – ein Zustand, der nicht gewährleistet ist, wenn die Agenten selbst halluzinieren.
Um dieses Problem zu adressieren, wurde das neue Multi‑Agent Undercover Gaming (MUG)-Protokoll entwickelt. Inspiriert von sozialen Deduktionsspielen wie „Wer ist Undercover?“ wandelt MUG das MAD-Setup in einen Prozess um, bei dem „Undercover“-Agenten – also diejenigen, die halluzinieren – identifiziert werden. Durch gezielte Modifikation von Referenzbildern, die kontrafaktische Beweise einführen, wird beobachtet, ob die Agenten die Änderungen korrekt erkennen. Diese Beobachtung liefert eine objektive Grundlage, um halluzinierende Agenten zu erkennen und ermöglicht damit eine robuste, von der Crowd unterstützte multimodale Argumentation.
MUG erweitert die MAD‑Methodik in drei wesentlichen Dimensionen: Erstens wird die faktische Verifikation über kontrafaktische Tests hinaus verbessert, statt sich nur auf statistische Konsenswerte zu verlassen. Zweitens wird die Querverifikation von Beweismitteln durch dynamisch veränderte Evidenzquellen ermöglicht, anstatt auf statische Eingaben angewiesen zu sein. Drittens fördert das Protokoll aktives Denken, indem die Agenten in fordernde Diskussionen eingebunden werden, statt lediglich passiv Fragen zu beantworten.
Durch diese Innovationen entsteht ein zuverlässigeres und effektiveres Framework für multimodale Reasoning in LLMs. Der Quellcode ist öffentlich verfügbar unter https://github.com/YongL, sodass Forscher und Entwickler die Methode sofort in ihre Projekte integrieren können.