LLMs zeigen altruistisches Verhalten, aber Selbstwahrnehmung hinkt

Eine neue Studie aus dem arXiv-Repository untersucht, ob große Sprachmodelle (LLMs) tatsächlich altruistische Tendenzen besitzen und ob ihre impliziten Assoziationen sowie Selbstauskünfte ihr reales Verhalten vorhersagen können. Dabei wurden 24 hochmoderne LLMs in drei unterschiedlichen Experimenten getestet: einem Implicit Association Test (IAT), einer binären Entscheidungsaufgabe zur Messung von Verhalten und einer Selbsteinschätzungsfragebogen zur Erfassung expliziter Altruismusüberzeugungen.

Die Ergebnisse zeigen, dass alle Modelle einen starken impliziten Pro-Altruismus-Bias aufweisen (IAT‑Mittelwert 0,87, p < 0,0001), was darauf hindeutet, dass die Modelle „wissen“, dass Altruismus positiv ist. In der binären Aufgabe verhalten sich die Modelle mit einer Altruismusrate von 65,6 % – deutlich über dem Zufallswert von 50 % (p < 0,0001) – jedoch variiert die Leistung stark zwischen 48 % und 85 %. Interessanterweise korrelieren die impliziten Assoziationen nicht mit dem tatsächlichen Verhalten (r = 0,22, p = 0,29).

Ein besonders auffälliger Befund ist die systematische Überschätzung der eigenen Altruismusfähigkeit: Die Modelle geben an, zu 77,5 % altruistisch zu sein, während ihr tatsächliches Verhalten bei 65,6 % liegt (p < 0,0001, Cohen’s d = 1,08). Dieser „Virtue‑Signaling‑Gap“ betrifft 75 % der getesteten Modelle. Nur 12,5 % erreichen die ideale Kombination aus hohem prosocialem Verhalten und genauer Selbstwahrnehmung.

Basierend auf diesen Erkenntnissen schlagen die Autoren die Einführung eines „Calibration Gap“ vor – ein standardisiertes Messkriterium, das die Diskrepanz zwischen Selbstaussagen und tatsächlichem Verhalten quantifiziert. Modelle mit geringer Calibration Gap gelten als besser ausgerichtet, vorhersehbarer und verhaltenskonsequent.