Neuer Agent schließt semantisch-geometrische Lücke in räumlicher Logik

Vision‑Language‑Modelle (VLMs) stoßen bei räumlichen Aufgaben an eine fundamentale Grenze: Sie verstehen semantische Zusammenhänge zwar sehr gut, doch ihr Denken arbeitet in einem verlustbehafteten semantischen Raum, der nicht mit präziser Geometrie übereinstimmt. Bestehende Ansätze, die auf Training oder auf Tool‑Integration setzen, schaffen es nicht, diese Lücke zu überbrücken. Training‑basierte Methoden leiden unter dem „Oracle‑Paradox“, weil sie fehlerhafte räumliche Logik von unvollkommenen Oracles lernen. Tool‑integrierte Verfahren beschränken zwar die finale Berechnung, lassen jedoch den Planungsprozess des VLMs unbegrenzt und führen zu geometrisch inkorrekten Plänen.

In der vorliegenden Arbeit wird der „Geometrically‑Constrained Agent“ (GCA) vorgestellt – ein völlig trainingsfreies, agentenbasiertes Konzept, das die semantisch‑geometrische Diskrepanz durch die Einführung einer formalen Aufgabenbeschränkung schließt. GCA teilt die Rolle des VLMs in zwei klar getrennte Phasen auf: Zunächst fungiert das VLM als semantischer Analyst, der die unklare Nutzeranfrage in eine überprüfbare, formale Aufgabenbeschränkung übersetzt, die den Bezugsrahmen und das Ziel definiert. Anschließend übernimmt das VLM die Rolle des Aufgabenlösers und erzeugt sowie führt Tool‑Aufrufe ausschließlich innerhalb der deterministischen Grenzen dieser Beschränkung aus.

Durch diese geometrisch eingeschränkte Denkstrategie wird die semantisch‑geometrische Lücke erfolgreich geschlossen, was zu einem robusten und verifizierbaren Denkweg für räumliche Aufgaben führt. Umfangreiche Experimente zeigen, dass GCA die aktuelle Spitzenleistung (SOTA) auf mehreren räumlichen Reasoning‑Benchmarks übertrifft und bestehende trainingsbasierte sowie tool‑integrierte Methoden um etwa 27 % überholt.

Weitere Informationen und die vollständige Veröffentlichung finden Sie auf der Projektseite: https://gca-spatial-reasoning.github.io.