LLMs im Test: Vergleich von logischem und abstraktem Denken

Eine neue Studie, veröffentlicht auf arXiv (2510.24435v1), untersucht die Fähigkeit großer Sprachmodelle (LLMs) zu logischem und abstraktem Denken. Die Forschung geht über reine Sprachaufgaben hinaus und prüft, ob die Modelle tatsächlich Informationen verstehen, Schlüsse ziehen und valide Argumente bilden können.

Im Fokus stehen acht speziell entwickelte Fragen, die sowohl deduktive als auch abstrakte Denkprozesse abfragen. Die Modelle – darunter GPT, Claude, DeepSeek, Gemini, Grok, Llama, Mistral, Perplexity und Sabi'a – wurden anhand dieser Aufgaben bewertet und ihre Ergebnisse mit menschlicher Leistung verglichen.

Die Ergebnisse zeigen deutliche Unterschiede: Während einige Modelle bei bestimmten Fragen nahe an menschliche Leistungen herankommen, gibt es Bereiche, in denen sie noch erhebliche Schwierigkeiten mit der Deduktion haben. Die Studie liefert damit wichtige Einblicke in die Stärken und Schwächen aktueller LLMs und legt nahe, wo weitere Verbesserungen nötig sind.