ChromouVQA: Neues Benchmark für Vision‑Language‑Modelle mit chromatischer Tarnung

Vision‑Language‑Modelle (VLMs) haben die multimodale Verarbeitung von Bild- und Textdaten revolutioniert, stoßen jedoch bei der Erkennung von Objekten in stark verunreinigten Hintergründen noch immer an ihre Grenzen. Um dieses Problem gezielt zu untersuchen, wurde das Benchmark‑Set ChromouVQA entwickelt. Es basiert auf Ishihara‑ähnlichen Bildern, bei denen farbige Punkte in komplexen geometrischen Mustern versteckt sind.

ChromouVQA erweitert die klassischen Dot‑Plate‑Tests um mehrere Füllgeometrien und variiert systematisch die chromatische Trennung, Dichte, Größe, Überlappung und Rotation der Punkte. Für jede Bildvariante werden vollständige Metadaten bereitgestellt, sodass die Experimente reproduzierbar sind. Das Benchmark umfasst neun Aufgaben des Vision‑Question‑Answering, darunter Erkennung, Zählen, Vergleich und räumliches Denken.

Bei den ersten Tests zeigten sowohl menschliche Prüfer als auch aktuelle VLMs erhebliche Leistungsunterschiede, insbesondere bei subtilen Farbkontrasten oder stark veränderten geometrischen Füllungen. Zusätzlich wurde ein modellunabhängiges kontrastives Verfahren vorgestellt, das Silhouetten mit ihren tarnenden Darstellungen abgleicht und die Wiedererkennung globaler Formen verbessert. ChromouVQA bietet damit ein kompakte, kontrollierte Plattform für die vergleichende Bewertung und Weiterentwicklung von Vision‑Language‑Modellen.

Der komplette Code und das Datenset sind unter https://github.com/Chromou-VQA-Benchmark/Chromou-VQA verfügbar.