SEAM: Benchmark prüft, ob Vision‑Language‑Modelle Modalitäten verstehen

Ein neues Benchmark‑Set namens SEAM (Semantically Equivalent Across Modalities) wurde vorgestellt, um die Konsistenz von Vision‑Language‑Modellen (VLMs) über verschiedene Darstellungsformen hinweg zu prüfen. SEAM kombiniert semantisch gleichwertige Eingaben aus vier etablierten Domänen, die jeweils über standardisierte textuelle und visuelle Notationen verfügen.

Im Gegensatz zu herkömmlichen OCR‑basierten Bild‑Text‑Paarungen nutzt SEAM unterschiedliche Notationssysteme für jede Modalität. Dadurch entsteht ein rigoroses Testfeld, das die text‑symbolischen und visuellen räumlichen Denkfähigkeiten der Modelle vergleichbar bewertet.

Bei einer Analyse von 21 aktuellen VLMs zeigte sich ein systematisches Ungleichgewicht: Die visuelle Verarbeitung liegt häufig hinter der sprachlichen Leistung zurück, obwohl beide Modalitäten dieselben semantischen Informationen enthalten. Die Übereinstimmung zwischen den Modalen bleibt zudem relativ gering.

Eine Fehleranalyse identifizierte zwei Hauptursachen: Erstens scheitern viele Modelle an der Tokenisierung der Domänen‑Notation, was die textuelle Wahrnehmung beeinträchtigt. Zweitens führen visuelle Wahrnehmungsfehler zu Halluzinationen, die die Bildinterpretation verfälschen.

Interessanterweise bleiben die Ergebnisse weitgehend stabil, wenn die Bilder visuellen Transformationen unterzogen werden. SEAM bietet damit ein kontrolliertes, semantisch gleichwertiges Umfeld, um die Modallose Denkfähigkeit von VLMs zu messen und gezielt zu verbessern.