Multimodale Sprachmodelle: Räumliches Denken – Aufgaben, Benchmarks & Methoden

Ein neues Survey‑Paper von arXiv (2511.15722v1) beleuchtet die bislang wenig erforschte Fähigkeit von multimodalen großen Sprachmodellen (MLLMs), räumliche Beziehungen in der 3‑D-Welt zu erkennen und zu manipulieren. Die Autoren betonen, dass räumliches Denken nicht allein von der Eingabe­modalität abhängt, sondern ein komplexes Zusammenspiel kognitiver Prozesse darstellt.

Zur Strukturierung des Feldes wird eine neue Taxonomie vorgestellt, die räumliche Intelligenz aus kognitiver Sicht klassifiziert und Aufgaben nach ihrer Rechenkomplexität ordnet. Auf dieser Basis werden bestehende Benchmarks – von rein textbasierten Tests über Vision‑Language‑Aufgaben bis hin zu embodied Settings – systematisch zugeordnet. Diese Perspektive ermöglicht präzisere Vergleiche zwischen Modellen und offenbart deutliche Lücken zwischen aktuellen Fähigkeiten und menschlichem räumlichem Urteilsvermögen.

Darüber hinaus analysieren die Autoren Methoden zur Verbesserung der räumlichen Kompetenz. Dabei werden sowohl trainingsbasierte Ansätze als auch reasoning‑basierte Strategien beleuchtet, deren Stärken und Schwächen gegenübergestellt und als komplementär identifiziert. Das Survey liefert damit einen umfassenden Überblick für neue Forscher und gibt klare, umsetzbare Richtungen für zukünftige Entwicklungen vor.