ViGoR-Bench: Wie weit sind generative Modelle von Zero‑Shot Visual Reasoning?

Die neue Benchmark‑Suite ViGoR (Vision‑Generative Reasoning) richtet sich gegen die bislang unzureichend getesteten logischen Fähigkeiten moderner AIGC‑Modelle. Während die Bild‑ und Videogenerierung heute beeindruckende visuelle Qualität liefert, scheitern die Systeme häufig an Aufgaben, die physikalisches, kausales oder komplexes räumliches Denken erfordern.

ViGoR hebt sich durch vier zentrale Innovationen ab: Erstens deckt es ein ganzheitliches, cross‑modales Spektrum ab, das sowohl Bild‑zu‑Bild‑ als auch Video‑Aufgaben umfasst. Zweitens nutzt es einen Dual‑Track‑Ansatz, der sowohl die Zwischenschritte als auch das Endergebnis bewertet. Drittens wird ein automatisierter, evidenzbasierter Richter eingesetzt, der die Übereinstimmung mit menschlichen Erwartungen sicherstellt. Viertens bietet die Benchmark eine feingranulare Diagnostik, die die Leistung in einzelne kognitive Dimensionen zerlegt.

In Tests mit über 20 führenden Modellen zeigte ViGoR, dass selbst die fortschrittlichsten Systeme erhebliche Defizite im logischen Denken aufweisen. Damit liefert die Benchmark einen wichtigen „Stress‑Test“ für die nächste Generation intelligenter Bildmodelle und unterstreicht die Notwendigkeit, die generativen Prozesse stärker zu evaluieren.

Die Demo ist unter https://vincenthancoder.github.io/ViGoR-Bench/ verfügbar.