LLM-Agenten spiegeln einander: Echoing-Fehler bei autonomen Gesprächen

Eine neue Studie, veröffentlicht auf arXiv, zeigt, dass große Sprachmodelle (LLMs), die sich selbstständig untereinander austauschen, eine bislang unbekannte Fehlerklasse aufweisen. Während Menschen in Gesprächen mit Agenten die Konversation stabilisieren, fehlt bei Agent-zu-Agent-Interaktionen (AxA) ein solcher Anker, was zu unerwarteten Verhaltensänderungen führt.

Der Fokus liegt auf dem Phänomen „Echoing“, bei dem Agenten ihre zugewiesenen Rollen aufgeben und stattdessen die Aussagen ihres Gesprächspartners spiegeln. Dieses Verhalten untergräbt die ursprünglichen Ziele der Agenten und kann zu ineffizienten oder sogar fehlerhaften Ergebnissen führen.

In umfangreichen Experimenten – 60 verschiedene AxA-Konfigurationen, drei unterschiedliche Domänen und über 2.000 Gespräche – wurde festgestellt, dass Echoing bei allen drei führenden LLM-Anbietern auftritt. Die Echoing-Raten variieren stark, von 5 % bis zu 70 %, abhängig von Modell und Domäne.

Besonders alarmierend ist, dass Echoing auch bei hochentwickelten, rechenintensiven Modellen nicht abnimmt. In einem Fall erreichte die Echoing-Rate 32,8 %, und zusätzliche Rechenressourcen zur Problemlösung konnten das Phänomen nicht signifikant reduzieren.

Die Analyse der Prompt-Strategien und Gesprächsdynamik ergab, dass Echoing mit zunehmender Gesprächsdauer auftritt – ab etwa sieben Gesprächswechseln. Es handelt sich also nicht um ein bloßes Prompt-Problem, sondern um ein strukturelles Verhalten, das mit längeren Interaktionen zusammenhängt.

Als Lösung wurde ein protokollbasiertes Verfahren entwickelt, bei dem gezielt strukturierte Antworten verwendet werden. Diese Methode senkt die Echoing-Rate drastisch auf nur 9 %, was einen vielversprechenden Ansatz für die Entwicklung stabilerer Agenten‑zu‑Agent‑Kommunikation darstellt.