Neue Benchmarks zeigen: Multimodale LLMs liefern inkonsistente Antworten

Forscher haben zwei neue Benchmarks – REST und REST+ (Render‑Equivalence Stress Tests) – entwickelt, um die Konsistenz multimodaler Large Language Models (MLLMs) systematisch zu prüfen. Die Tests stellen dieselben semantischen Inhalte in drei Modalitäten (Bild, Text, gemischt) dar und zeigen, dass aktuelle MLLMs nicht zuverlässig über alle Modalitäten hinweg arbeiten.

In einer umfassenden Evaluation wurden 15 führende MLLMs getestet. Dabei wurde festgestellt, dass die Modalitätsinkonsistenz stark variiert, selbst wenn Probleme bei der Texterkennung (OCR) berücksichtigt werden. Das Umwandeln von Text in ein Bild oder umgekehrt löst das Problem nicht – die Modelle bleiben inkonsistent.

Weitere Untersuchungen ergaben, dass visuelle Faktoren wie Textfarbe, Auflösung und die Anzahl der Vision‑Tokens die Modellleistung beeinflussen, während die Schriftart keine signifikante Rolle spielt. Der gemessene Konsistenz‑Score korreliert zudem mit dem Modalitäts‑Gap zwischen Text und Bild, was auf mechanistische Ursachen für die Inkonsistenz hinweist.