Vision‑Language‑Modelle: Neue Graphen prüfen kausales Denken

Neues Forschungspapier von Forschern auf arXiv (2602.20878v1) stellt einen wichtigen Schritt vorwärts in der Bewertung von Vision‑Language‑Modellen (LVLMs) dar. Während aktuelle Modelle bei visuellen Frage‑Antwort‑Tests glänzen, nutzen sie häufig unzuverlässige Korrelationen statt echter kausaler Logik.

Um dieses Problem anzugehen, wurde die Vision‑Language‑Causal‑Graph‑Methode (VLCG) entwickelt. Diese strukturierte, abfrageabhängige Darstellung erfasst explizit die für die Ursache-Wirkung-Beziehung relevanten Objekte, Attribute, Relationen und kontextbezogenen Annahmen. Durch die klare Codierung dieser Elemente können Modelle gezielt lernen, welche Informationen tatsächlich kausal wichtig sind.

Auf Basis der VLCG wurde das ViLCaR‑Benchmark erstellt, das drei Aufgaben umfasst: Causal Attribution, Causal Inference und Question Answering. Zusätzlich wurden graph‑ausgerichtete Bewertungsmetriken eingeführt, die die Identifikation relevanter Informationen messen, anstatt sich nur auf die Endantworten zu verlassen.

Experimentelle Ergebnisse mit führenden LVLMs zeigen, dass die Integration von strukturierten Relevanzinformationen die Konsistenz bei Attribution und Inferenz deutlich verbessert – sowohl im Zero‑Shot‑Modus als auch bei standardmäßigem In‑Context‑Learning. Diese Befunde deuten darauf hin, dass die derzeitigen Schwächen in der kausalen Entscheidungsfindung von LVLMs vor allem auf fehlende strukturelle Führung zurückzuführen sind, nicht auf mangelnde Rechenkapazität.