KI-Agenten zeigen übermäßiges Selbstvertrauen trotz Unsicherheit

Eine neue Studie, die auf arXiv veröffentlicht wurde, zeigt, dass KI-Agenten häufig übermäßig optimistisch sind, wenn sie ihre Erfolgschancen einschätzen. Die Forscher untersuchten die Unsicherheit von Agenten, indem sie deren Schätzungen der Erfolgswahrscheinlichkeit vor, während und nach der Ausführung von Aufgaben erfassten.

Erstaunlicherweise prognostizierten Agenten, die nur 22 % der Zeit erfolgreich waren, im Durchschnitt 77 % Erfolg – ein klares Beispiel für agentisches Übervertrauen. Trotz der geringen Erfolgsrate übertreffen die Agenten ihre eigene Einschätzung deutlich.

Interessanterweise ließen sich die Vorhersagen vor der Ausführung, obwohl sie weniger Informationen enthielten, oft besser unterscheiden als die üblichen Nachbetrachtungen. Die Unterschiede waren jedoch nicht immer signifikant, was auf die Komplexität der Einschätzungsprozesse hinweist.

Durch das Umgestalten der Bewertung in ein Bug‑Finding‑Format mittels adversarial Prompting erreichten die Agenten die beste Kalibrierung. Diese Methode scheint die Unsicherheit der Agenten genauer abzubilden und ihr Selbstvertrauen besser an die Realität anzupassen.