InMind: LLMs testen individuelle Denkstile in sozialen Deduktionsspielen

LLMs haben in den letzten Jahren beeindruckende Leistungen bei menschenzentrierten Rätselaufgaben gezeigt. Bisher wurden jedoch oft die individuellen Denkenstile, die bestimmen, wie Menschen Situationen interpretieren und handeln, übersehen. InMind ist ein neues, kognitiv fundiertes Evaluierungsframework, das genau diese individuellen Denkweisen in sozialen Deduktionsspielen (SDGs) untersucht.

Das Framework erweitert die strukturierten Spieldaten um Runden‑weise Strategie‑Spuren und Reflexionen nach dem Spiel, die sowohl im Beobachter‑ als auch im Teilnehmer‑Modus gesammelt werden. Vier kognitiv motivierte Aufgaben ermöglichen die Bewertung von statischer Ausrichtung und dynamischer Anpassung der Modelle.

Als Fallstudie wurde das Spiel Avalon mit elf hochmodernen LLMs getestet. Allgemein einsetzbare Modelle – sogar GPT‑4o – neigen stark zu lexikalischen Hinweisen und haben Schwierigkeiten, ihre Reflexionen zeitlich im Spiel zu verankern oder sich an sich ändernde Strategien anzupassen. Im Gegensatz dazu zeigen reasoning‑verbesserte Modelle wie DeepSeek‑R1 erste Anzeichen für stilsensitives Denken.

Die Ergebnisse verdeutlichen deutliche Grenzen der aktuellen LLMs bezüglich individueller, adaptiver Denkweise und positionieren InMind als wichtigen Schritt hin zu einer kognitiv ausgerichteten Mensch‑KI‑Interaktion.