Vision‑Language‑Modelle lösen Tangram‑Puzzles dank selbstreflektierender Testzeit‑Strategie

Menschen meistern Tangram‑Puzzles mühelos, indem sie mentale Rotation, iterative Verfeinerung und visuelles Feedback einsetzen. In einer Reihe von Experimenten mit fünf führenden Vision‑Language‑Modellen (VLMs) zeigte sich jedoch, dass diese Modelle in kontinuierlichen geometrischen Räumen stark hinter den menschlichen Fähigkeiten zurückbleiben – durchschnittliche Intersection-over-Union (IoU) von lediglich 0,41 bei Einzelstücken und 0,23 bei zweistufigen Zusammensetzungen.

Um dieses Defizit zu überwinden, präsentiert die Studie das TangramSR‑Framework, das menschliche kognitive Mechanismen nachahmt. Durch die Kombination von In‑Context‑Learning (ICL) mit belohnungsorientierten Feedbackschleifen ermöglicht TangramSR eine testzeitbasierte Selbstverfeinerung. Ein trainierfreier Verifier‑Refiner-Agent führt rekursive Schleifen durch, die die Vorhersagen iterativ an geometrische Konsistenz anpassen, ohne dass Modellparameter aktualisiert werden müssen.

Die Ergebnisse sind beeindruckend: Auf mittleren Dreiecksfällen stieg die IoU von 0,63 auf 0,932, während die Gesamtleistung der VLMs signifikant verbessert wurde. Diese Fortschritte demonstrieren, dass die Integration von menschlich inspirierten, iterativen Verfeinerungsmechanismen die geometrische Problemlösung von VLMs drastisch steigern kann.

Die Arbeit markiert einen wichtigen Schritt in Richtung selbstverbessernder KI in kontinuierlichen räumlichen Domänen. Durch die Kombination von ICL und belohnungsgeleiteten Feedbackschleifen wird gezeigt, dass VLMs ihre eigenen Vorhersagen ohne zusätzliche Trainingsschritte optimieren können – ein Ansatz, der zukünftige Anwendungen in Bereichen wie Robotik, CAD und virtueller Realität vorantreiben dürfte.