Vision‑Language‑Modelle zeigen starkes egocentrisches Bias bei Perspektivwechseln

Ein neues Benchmark‑Set namens FlipSet wurde entwickelt, um die Fähigkeit von Vision‑Language‑Modellen (VLMs) zum Level‑2‑visuellen Perspektivwechsel zu testen. Dabei werden 2‑D‑Zeichenketten um 180 Grad rotiert, sodass die Modelle die Sicht eines anderen Agenten simulieren müssen. Durch die Isolation der räumlichen Transformation von komplexen 3‑D‑Szenen lässt sich die reine Perspektivfähigkeit untersuchen.

Bei der Bewertung von 103 VLMs zeigte sich ein systematisches egocentrisches Bias: Die meisten Modelle erreichten Leistungen unter dem Zufallsniveau, und etwa drei Viertel der Fehler spiegeln die Kamera‑Perspektive wider. Das bedeutet, dass die Modelle häufig die eigene Sicht einnehmen, anstatt die des anderen Agenten einzunehmen.

Kontrollstudien offenbarten einen kompositorischen Defizit. Die Modelle erzielten zwar hohe Genauigkeiten bei Theorie‑of‑Mind‑Aufgaben und über dem Zufallsniveau bei isolierten mentalen Rotationen, scheiterten jedoch katastrophal, wenn die Integration dieser Fähigkeiten erforderlich war. Diese Trennung deutet darauf hin, dass aktuelle VLMs die Mechanismen fehlen, um soziale Bewusstheit mit räumlichen Operationen zu verknüpfen.

FlipSet bietet damit ein kognitiv fundiertes Testfeld, um die Perspektiv‑Taking‑Fähigkeiten multimodaler Systeme zu diagnostizieren und die grundlegenden Grenzen der modellbasierten räumlichen Vernunft aufzuzeigen.