SEAM: Benchmark prüft, ob Vision‑Language‑Modelle Modalitäten verstehen
Ein neues Benchmark‑Set namens SEAM (Semantically Equivalent Across Modalities) wurde vorgestellt, um die Konsistenz von Vision‑Language‑Modellen (VLMs) über verschiedene Darstellungsformen hinweg zu prüfen. SEAM kombiniert semantisch gleichwertige Eingaben aus vier etablierten Domänen, die jeweils über standardisierte textuelle und visuelle Notationen verfügen.
