Indische Benchmark enthüllt Leistungsunterschiede bei Vision‑Language‑Modellen

Ein neues Forschungswerkzeug namens IndicVisionBench wurde vorgestellt, das die Leistungsfähigkeit von Vision‑Language‑Modellen (VLMs) in kulturell vielfältigen und mehrsprachigen Kontexten prüft. Das Benchmark‑Set konzentriert sich auf den indischen Subkontinent und umfasst zehn indische Sprachen sowie Englisch.

Das Testsystem deckt drei multimodale Aufgaben ab: optische Zeichenerkennung (OCR), multimodale maschinelle Übersetzung (MMT) und visuelle Frage‑Antwort (VQA). Insgesamt werden rund 5.000 Bilder und über 37.000 Frage‑Antwortpaare zu 13 kulturell relevanten Themen bereitgestellt. Zusätzlich wird ein parallel annotiertes Korpus in zehn indischen Sprachen veröffentlicht, das Forschern hilft, kulturelle und sprachliche Verzerrungen in VLMs zu analysieren.

Die Autoren haben acht verschiedene Modelle – von proprietären, geschlossenen Systemen bis zu Open‑Weight‑Modellen – getestet. Die Ergebnisse zeigen deutliche Leistungsunterschiede und verdeutlichen, dass aktuelle VLMs in kulturell diversen Umgebungen noch erhebliche Schwächen aufweisen. IndicVisionBench bietet damit einen reproduzierbaren Rahmen, um die Inklusivität multimodaler KI‑Forschung zu verbessern.