LLMs können Persönlichkeit messen – Studie bestätigt Chatbot-Assessment

Eine neue Untersuchung aus dem arXiv-Repository zeigt, dass große Sprachmodelle (LLMs) als dynamische Alternative zu klassischen Fragebogen zur Persönlichkeitsmessung funktionieren. Die Forscher haben die Genauigkeit von LLM-basierten Gesprächen mit dem etablierten IPIP‑50‑Fragebogen verglichen und dabei sowohl objektive als auch subjektive Aspekte der Bewertung erfasst.

Im Rahmen eines Within‑Subjects‑Experiments nahmen 33 Teilnehmer an, die jeweils sowohl ein LLM‑gestütztes Gespräch führten als auch den IPIP‑50-Fragebogen ausfüllten. Die Gespräche wurden gezielt geführt, um die fünf Big‑Five‑Persönlichkeitsmerkmale zu erfassen. Anschließend wurden die daraus abgeleiteten Scores mit den Gold‑Standard‑Werten des Fragebogens korreliert.

Die Ergebnisse zeigten eine moderate Konvergenz (r = 0,38–0,58). Für Conscientiousness, Openness und Neuroticism lagen die LLM‑Scores statistisch auf dem gleichen Niveau wie die Fragebogenwerte. Bei Agreeableness und Extraversion wurden jedoch signifikante Unterschiede festgestellt, was auf eine trait‑spezifische Kalibrierung hinweist. Interessanterweise bewerteten die Teilnehmer die von den LLMs generierten Profile als genauso genau wie die herkömmlichen Fragebogen.

Diese Befunde deuten darauf hin, dass konversationelle KI ein vielversprechender Ansatz für die moderne Psychometrie sein kann. Mit weiteren Anpassungen könnte sie künftig eine flexible, benutzerfreundliche Alternative zu traditionellen Persönlichkeitstests darstellen.