ChartAnchor: Neuer Benchmark für Chart‑Verständnis in multimodalen Modellen

In der jüngsten Forschung zu multimodalen großen Sprachmodellen (MLLMs) wird deutlich, dass die Fähigkeit, Diagramme nicht nur zu erkennen, sondern auch deren strukturelle und semantische Inhalte exakt zu erfassen, entscheidend ist. ChartAnchor, ein neuer Benchmark, wurde entwickelt, um diese Kompetenz systematisch zu prüfen. Er umfasst über 8.000 Diagramm‑Tabelle‑Code‑Triples, die 30 verschiedene Diagrammtypen aus realen und synthetisch erweiterten Quellen abdecken.

Der Benchmark stellt zwei zentrale Aufgaben vor: Erstens die Generierung von Code, der ein Diagramm exakt reproduziert, und zweitens die kontrollierte Rekonstruktion von Tabellen, bei der die exakten Datenwerte und deren Beziehungen exakt extrahiert werden müssen. Durch diese beiden Perspektiven kann die Übereinstimmung zwischen visueller Darstellung und struktureller Semantik umfassend validiert werden.

ChartAnchor nutzt ein mehrstufiges Bewertungssystem, das semantische Validierung, stilistische Analyse und perceptuelle Metriken kombiniert. So wird nicht nur die strukturelle Richtigkeit, sondern auch die inhaltliche Genauigkeit der Modelle beurteilt. Erste Experimente mit führenden MLLMs zeigen, dass trotz beeindruckender Fortschritte noch erhebliche Schwächen in der numerischen Präzision und im Code‑Generierungsprozess bestehen.

Mit ChartAnchor erhalten Entwickler und Forscher ein robustes Werkzeug, um die Grenzen multimodaler Modelle zu erkennen und gezielt zu verbessern. Der Benchmark fördert die Entwicklung von Systemen, die Diagramme nicht nur visuell, sondern auch in ihrer zugrunde liegenden Datenstruktur zuverlässig interpretieren können.