ENACT: Benchmark prüft, ob Vision‑Language‑Modelle wirklich sensorisch handeln

Die neue Studie „ENACT“ stellt Vision‑Language‑Modelle (VLMs) einer einzigartigen Herausforderung gegenüber: Sie prüfen, ob diese Systeme wirklich aus sensorisch-motorischer Interaktion lernen oder lediglich passiv beobachten. Durch die Einführung eines Benchmarks, der die Bewertung von eingebetteter Kognition als Weltmodellierung aus egoszentrischer Sicht in einem Visual‑Question‑Answering‑Format (VQA) gestaltet, wird die Frage konkret beantwortet.

ENACT nutzt einen teilweise beobachtbaren Markov‑Entscheidungsprozess (POMDP), bei dem die Aktionen Änderungen im Szenengraph darstellen. Das Benchmark besteht aus zwei komplementären Aufgaben: dem „forward world modeling“, bei dem die Reihenfolge der Beobachtungen anhand gegebener Aktionen neu angeordnet wird, und dem „inverse world modeling“, bei dem die Reihenfolge der Aktionen anhand der Beobachtungen rekonstruiert wird. Obwohl die Aufgaben konzeptionell einfach erscheinen, erfordern sie zentrale Fähigkeiten der eingebetteten Kognition, wie Affordanz‑Erkennung, Aktions‑Effekt‑Logik, bewusste Wahrnehmung und langfristiges Gedächtnis aus teilweise beobachtbaren egoszentrischen Eingaben.

Um die Aufgaben realistisch zu gestalten, wird ein skalierbarer Pipeline-Ansatz verwendet, der QA‑Paare aus der Robotik‑Simulation BEHAVIOR generiert. Insgesamt werden 8.972 Fragen‑Antwort‑Paare zu langanhaltenden, häuslichen Aktivitäten evaluiert. Die Ergebnisse zeigen einen deutlichen Leistungsunterschied zwischen den fortschrittlichsten VLMs und menschlichen Probanden, der mit zunehmender Interaktionsdauer wächst. Modelle schneiden bei der inversen Aufgabe besser ab als bei der vorwärtsgerichteten und zeigen anthropozentrische Verzerrungen, etwa eine Präferenz für rechts‑handige Aktionen sowie Leistungseinbußen bei bestimmten Kamerapositionen.