LLM-Agenten zeigen erhebliche Inkonsistenzen – Studie enthüllt Schwächen

Die beeindruckenden Fähigkeiten großer Sprachmodelle (LLMs) haben die Idee befeuert, dass synthetische Agenten echte Teilnehmer in Forschungsstudien ersetzen könnten. Doch ob diese Agenten wirklich konsistent handeln, bleibt fraglich.

Eine neue Untersuchung von Sozialwissenschaftlern geht über die üblichen Vergleiche von Umfrageergebnissen hinaus und prüft, ob LLM-Agenten in unterschiedlichen Experimenten dieselben Verhaltensmuster zeigen. Dazu wird zunächst der interne Zustand des Agenten sichtbar gemacht und anschließend sein Verhalten in einer einfachen Dialogumgebung analysiert.

Die Ergebnisse sind alarmierend: LLMs weisen erhebliche Inkonsistenzen auf, die sich über verschiedene Modellfamilien und Größen hinweg zeigen. Obwohl Agenten Antworten liefern können, die menschlichen Gegenstücken ähneln, fehlt ihnen die interne Kohärenz, die für eine zuverlässige Nachbildung menschlicher Reaktionen nötig ist.

Diese Schwäche stellt ein kritisches Hindernis dar, wenn LLM-Agenten als Ersatz für echte Teilnehmer in der Sozialforschung eingesetzt werden sollen. Die Forscher haben ihren Simulationscode und die zugehörigen Daten öffentlich zugänglich gemacht, um weitere Untersuchungen zu ermöglichen.