Neues Token-Konzept verbessert räumliches Denken in multimodalen Modellen

Eine aktuelle Veröffentlichung auf arXiv präsentiert ein innovatives Verfahren, mit dem multimodale Sprachmodelle ihre bisherige egocentrische Verzerrung bei räumlichen Aufgaben überwinden können. Durch die Einführung von Perspektiv‑Tokens, die explizit die Orientierung eines Beobachters kodieren, wird das Modell in die Lage versetzt, die Sichtweise eines anderen Agenten zu übernehmen.

Die Tokens existieren in zwei Varianten: Erstens werden Körper‑Keypoint‑Signale genutzt, die die physische Ausrichtung des Beobachters widerspiegeln; zweitens werden abstrakte Repräsentationen eingesetzt, die mentale Rotationen ermöglichen. Beide Ansätze ermöglichen es dem Modell, die räumliche Beziehung zwischen Objekten aus einer externen Perspektive zu verstehen.

Nach der Integration dieser Tokens in das LLaVA‑1.5‑13B‑Modell zeigte sich eine signifikante Leistungssteigerung bei Level‑2‑Aufgaben zur visuellen Perspektivübernahme. Auf einer Vielzahl von synthetischen und realen Benchmarks – darunter Isle Bricks V2, COCO und 3DSRBench – erzielten die Tokens höhere Genauigkeiten. Besonders die rotationsbasierten Tokens bewiesen eine gute Generalisierung auf nicht‑menschliche Referenzagenten.

Darüber hinaus deuten repräsentationsanalytische Ergebnisse darauf hin, dass das Grundmodell bereits latente Orientierungssensitivität besitzt, die durch Feintuning verstärkt wird. Diese Erkenntnisse legen nahe, dass multimodale Sprachmodelle zwar Vorläufer einer allocentrischen Denkweise besitzen, jedoch bislang nicht die passende interne Struktur dafür aufweisen. Das vorgestellte Token‑Konzept stellt somit einen leichten, modellunabhängigen Ansatz dar, um perspektivisches Denken und menschenähnliche räumliche Intelligenz in KI-Systemen zu fördern.