HUMANSTUDY-BENCH: KI-Agenten simulieren menschliche Experimente zuverlässig

In der neuesten Veröffentlichung auf arXiv (2602.00685v1) wird ein neues Benchmark-System vorgestellt, das große Sprachmodelle (LLMs) als simulierte Teilnehmer in sozialwissenschaftlichen Experimenten einsetzt. Das System, genannt HUMANSTUDY-BENCH, behandelt die Simulation von Teilnehmern als ein Agenten‑Design‑Problem, bei dem ein Agent aus einem Basis‑Modell und einer Spezifikation – etwa Teilnehmer‑Attributen – besteht, die das Verhalten steuern.

HUMANSTUDY-BENCH kombiniert einen Benchmark und einen Ausführungs‑Engine, die LLM‑basierte Agenten orchestrieren, um veröffentlichte Experimente mit menschlichen Probanden nachzubilden. Der Ansatz folgt einer Filter‑Extrahiere‑Ausführe‑Bewerte‑Pipeline, die die ursprünglichen Versuchsszenarien exakt reproduziert und die komplette Analyse‑Pipeline in einer gemeinsamen Laufzeitumgebung ausführt. Dadurch bleiben die statistischen Verfahren unverändert und die Ergebnisse können direkt mit den Originaldaten verglichen werden.

Zur Messung der Treue der Simulationen wurden neue Metriken entwickelt, die die Übereinstimmung von menschlichem und agentenbasiertem Verhalten auf der Ebene wissenschaftlicher Inferenz quantifizieren. Als erste Testreihe wurden zwölf grundlegende Studien aus den Bereichen individuelle Kognition, strategische Interaktion und Sozialpsychologie in das Benchmark aufgenommen. Diese umfassen insgesamt mehr als 6.000 Versuchsreihen mit menschlichen Stichproben, die von wenigen Dutzend bis zu über 2.100 Teilnehmern reichen.