MLLMs erkennen Symbole nicht: Kognitive Diskrepanz bei multimodalen Sprachmodellen

Multimodale Large Language Models (MLLMs) haben in der Bild‑ und Textinterpretation enorme Fortschritte erzielt, doch ihre Fähigkeit, diskrete Symbole – die Bausteine menschlichen Denkens – zu verarbeiten, bleibt fraglich. Ein neues Benchmark‑Studium untersucht, wie führende MLLMs in fünf Bereichen – Sprache, Kultur, Mathematik, Physik und Chemie – mit symbolischen Darstellungen umgehen.

Die Ergebnisse zeigen ein überraschendes Muster: Die Modelle erkennen oft grundlegende Symbole nicht, meistern jedoch komplexe Schlussfolgerungen. Dies deutet darauf hin, dass sie eher auf sprachliche Wahrscheinlichkeiten als auf echte visuelle Wahrnehmung zurückgreifen. Die Studie nennt dieses Phänomen „kognitive Diskrepanz“ und hebt damit eine entscheidende Lücke in der aktuellen KI‑Technologie auf.

Durch die Veröffentlichung dieses Benchmarks liefert die Arbeit einen klaren Fahrplan für die Entwicklung von KI-Systemen, die symbolische Sprachen wirklich verstehen und damit die wissenschaftliche Entdeckung sowie abstraktes Denken besser unterstützen können.