ChartDiff: Neuer Benchmark für das Vergleichen von Diagrammen

Diagramme sind unverzichtbar für analytisches Denken, doch bisherige Tests konzentrieren sich fast ausschließlich auf die Interpretation einzelner Grafiken. ChartDiff löst dieses Problem, indem es den ersten großen Vergleichsbenchmark für Diagramme vorstellt.

Der Datensatz umfasst 8.541 Diagrammpaare aus unterschiedlichen Quellen, mit vielfältigen Diagrammtypen und visuellen Stilen. Jeder Paare wurde eine von großen Sprachmodellen generierte, anschließend von Menschen überprüfte Zusammenfassung zugeordnet, die Unterschiede in Trends, Schwankungen und Anomalien beschreibt.

Mit ChartDiff wurden generische, diagrammspezifische und Pipeline-Modelle evaluiert. Die führenden generischen Modelle erzielen die höchste GPT-basierte Qualität, während spezialisierte und Pipeline-Ansätze höhere ROUGE-Werte liefern, aber bei der menschlichen Bewertung schlechter abschneiden. Das Ergebnis zeigt, dass lexikalische Übereinstimmung nicht zwangsläufig die tatsächliche Zusammenfassungsqualität widerspiegelt.

Besonders herausfordernd bleiben Mehrfachreihen-Diagramme für alle Modellfamilien, während robuste End-to-End-Modelle relativ gut mit Unterschieden in Plotting-Bibliotheken umgehen können. Insgesamt verdeutlichen die Ergebnisse, dass das vergleichende Diagrammverständnis nach wie vor eine große Herausforderung für aktuelle Vision‑Language‑Modelle darstellt und ChartDiff als wertvolles Werkzeug für die Weiterentwicklung in diesem Bereich positioniert ist.