Video-Modelle lösen Schach, Rätsel und kognitive Tests – 60 % Erfolg

In einer neuen Studie aus dem arXiv-Repository wird gezeigt, dass moderne Video‑Generierungsmodelle inzwischen in der Lage sind, komplexe logische Aufgaben zu lösen. Auf Testaufgaben wie Schach, Labyrinthe, Sudoku, mentale Rotationen und Raven‑Matrix‑Tests erzielen führende Modelle wie Sora‑2 beeindruckende Erfolgsraten von rund 60 %.

Die Forscher haben ein robustes Experimentierparadigma namens „Task Pair“ entwickelt, das die Bewertung von Video‑Modellen vereinfacht. Dazu wurde ein Code‑Framework erstellt, das bereits 39 Modelle integriert und die Skalierung auf neue Aufgaben und Modelle erleichtert. Durch automatisierte Evaluationen, die stark mit menschlichen Bewertungen korrelieren, lässt sich die Leistungsfähigkeit der Modelle zuverlässig messen.

Ein weiteres Highlight der Arbeit ist die Möglichkeit, mittels Reinforcement‑Learning die Denkfähigkeiten der Video‑Modelle gezielt zu verbessern. Alle Rohdaten und Ergebnisse stehen unter https://grow-ai-like-a-child.com/video-reason/ zur Verfügung. Das zugehörige Code‑Kit, VMEvalKit, kann von jedem Entwickler unter https://github.com/hokindeng/VMEvalKit heruntergeladen werden.