MathSpatial enthüllt Schwächen von MLLMs beim räumlichen Denken

Multimodale große Sprachmodelle (MLLMs) haben bei Wahrnehmungsaufgaben beeindruckende Ergebnisse erzielt, doch ihre Fähigkeit, mathematisches räumliches Denken zu leisten, bleibt fraglich. Während Menschen Textaufgaben zur räumlichen Logik mit über 95 % Genauigkeit lösen, erreichen die führenden MLLMs kaum 60 %. Dieser deutliche Leistungsunterschied zeigt, dass räumliches Denken eine fundamentale Schwäche der aktuellen Modelle darstellt.

Um diese Lücke zu untersuchen, wurde MathSpatial entwickelt – ein umfassendes Framework zur Bewertung und Verbesserung der räumlichen Fähigkeiten von MLLMs. MathSpatial besteht aus drei Teilen: einem Benchmark mit 2 000 Aufgaben, die in drei Kategorien und elf Untertypen unterteilt sind, einem Trainingskorpus mit 8 000 zusätzlichen Problemen und verifizierten Lösungen sowie einem strukturierten Repräsentationsmodell (SRT), das die Logik in drei atomare Operationen gliedert: Korrelieren, Einschränken und Ableiten.

Durch das Feintuning von Qwen2.5‑VL‑7B auf MathSpatial konnte die Genauigkeit signifikant gesteigert und gleichzeitig die Tokenanzahl um 25 % reduziert werden. MathSpatial liefert damit die erste groß angelegte Ressource, die Wahrnehmung von Logik trennt und eine präzise Messung sowie ein umfassendes Verständnis mathematischen räumlichen Denkens in MLLMs ermöglicht.