LLMs meistern asymmetrische Agenten: Aktives Nachfragen reduziert Bias

Neues Forschungsergebnis aus dem arXiv-Repository zeigt, dass große Sprachmodelle (LLMs) trotz ihrer beeindruckenden Rechenkraft Schwierigkeiten haben, in körperlich eingebetteten Umgebungen zu „symbalisieren“. Besonders problematisch wird es, wenn die verfügbaren Informationen ungleich verteilt sind.

Die Studie untersucht den sogenannten Privileged Information Bias – auch „Curse of Knowledge“ genannt – bei einem Leader‑Follower‑Setup. Der Leader verfügt über umfassende Sensorik, während der Follower stark eingeschränkt ist. Ohne ein Theory‑of‑Mind‑Verständnis kann der Leader die begrenzte Wahrnehmung des Followers nicht effektiv nutzen, was zu Kommunikationsfehlern führt.

Im Rahmen des neu entwickelten Asymmetric Assistive Reasoning Frameworks, implementiert in der AI2‑THOR‑Umgebung, wurden die Agenten getestet. Der Leader erreichte in 35 % der Episoden das Ziel, doch das gemeinsame Team gelang es nur in 17 % der Fälle. Das bedeutet, dass fast die Hälfte aller machbaren Pläne scheitert, weil die Agenten nicht richtig miteinander kommunizieren.

Ein entscheidender Befund ist die Überlegenheit eines Pull‑based‑Protokolls, bei dem der Follower aktiv nach Klärung fragt. Dieses Vorgehen führt zu einer Verdoppelung der erfolgreichen Episoden im Vergleich zu herkömmlichen Push‑based‑Anweisungen. Die Ergebnisse unterstreichen, dass aktive Unsicherheitsreduktion ein notwendiger Baustein für sichere Mensch‑KI‑ und Roboter‑Roboter‑Zusammenarbeit ist.