Wie viel ist genug? Illusorische Vollendung bei Suchagenten

In den letzten Jahren haben Suchagenten dank mehrstufiger Argumentation und externer Suchwerkzeuge beeindruckende Ergebnisse bei Multi-Hop- und Langhorizontaufgaben erzielt. Dennoch bleibt unklar, ob diese Systeme wirklich alle Anforderungen zuverlässig erfüllen, indem sie mehrere Bedingungen gleichzeitig verfolgen, prüfen und beibehalten.

Die vorliegende Studie untersucht genau diese Fähigkeit bei Multi-Constraint-Problemen, bei denen gültige Antworten mehrere gleichzeitig erfüllte Bedingungen erfordern. Dabei wird ein Phänomen namens „illusorische Vollendung“ identifiziert: Agenten glauben, die Aufgabe sei abgeschlossen, obwohl noch ungelöste oder verletzte Bedingungen bestehen, was zu unterverifizierten Antworten führt.

Zur Diagnose wurde das Epistemic Ledger entwickelt – ein Evaluierungsrahmen, der den Beweisnachweis und die Überzeugungen des Agenten für jede Bedingung während des mehrstufigen Denkens verfolgt. Die Analyse zeigte vier wiederkehrende Fehlermuster: reine Behauptungen, übersehene Widerlegungen, Stillstand und vorzeitiger Abbruch.

Auf Basis dieser Erkenntnisse wurde LiveLedger eingeführt, ein Laufzeit-Tracker, der den Zustand der Bedingungen explizit verfolgt. Diese einfache Intervention reduziert unterverifizierte Antworten um bis zu 26,5 % und steigert die Gesamtgenauigkeit um bis zu 11,6 % bei Multi-Constraint-Aufgaben, was die Zuverlässigkeit der Suchagenten deutlich erhöht.