Sprachmodell bewertet: Reproduziert es die formale Struktur der Mentalisierung?

Eine neue Studie auf arXiv untersucht, wie gut ein großes Sprachmodell die sprachliche Struktur der Mentalisierung reproduzieren kann. Dabei wird die wachsende Fähigkeit von LLMs, reflektierende Texte zu erzeugen, mit der komplexen Zusammensetzung kognitiver, affektiver und intersubjektiver Elemente verglichen.

Fünfzig Dialoge zwischen Menschen und einem LLM im Standardmodus wurden generiert. Fünf psychiatrische MBT‑Experten bewerteten die erzeugten Profile blind anhand vier MBT‑Achsen und Likert‑Skalen für evaluative und argumentative Kohärenz sowie Gesamtqualität.

Die durchschnittlichen Bewertungen lagen zwischen 3,63 und 3,98, was auf eine hohe strukturelle Kohärenz hinweist. Die Interrater‑Zuverlässigkeit (ICC 0,60–0,84) zeigte eine solide Übereinstimmung. Das Modell zeigte besonders stabile Ergebnisse in den Implicit‑Explicit‑ und Self‑Other‑Dimensionen, jedoch Schwächen bei der Integration von inneren Zuständen und äußeren Kontexten.

Die generierten Mentalisierungsprofile sind klinisch interpretierbar, weisen aber eine affektive Neutralität auf. Die Studie demonstriert, dass LLMs ein nützliches Werkzeug sein können, um die formale Struktur der Mentalisierung zu untersuchen, und legt gleichzeitig die Grenzen ihrer aktuellen Fähigkeiten offen.