BERT-VQA: Visual Question Answering auf Diagrammen – neue Erkenntnisse

In einer kürzlich veröffentlichten Arbeit auf arXiv (2508.13184v1) stellen die Autoren ein neues Modell namens BERT‑VQA vor, das sich speziell mit der Beantwortung von Fragen zu Diagrammen beschäftigt. Das Ziel ist es, die Herausforderung des Visual Question Answering (VQA) – bei dem Bild- und Textinformationen kombiniert werden müssen – auf den speziellen Fall von Diagrammen zu übertragen.

BERT‑VQA baut auf der VisualBERT‑Architektur auf und nutzt einen vortrainierten ResNet‑101‑Encoder für die Bildverarbeitung. Zusätzlich wird eine optionale gemeinsame Fusion der Bild‑ und Textfeatures eingesetzt, um die beiden Modalitäten besser zu verknüpfen.

Die Forscher haben das Modell gegen eine Baseline aus einem LSTM‑Netzwerk, einem CNN und einem einfachen Klassifikator trainiert und evaluiert. Überraschenderweise zeigte die Untersuchung, dass das Cross‑Modality‑Modul von VisualBERT nicht zwingend notwendig ist, um Diagrammkomponenten mit den Fragestellungen abzugleichen. Diese Erkenntnis widerspricht der ursprünglichen Hypothese der Autoren.

Die Ergebnisse liefern wertvolle Einblicke in die Komplexität der Diagramm‑VQA‑Aufgabe und geben Aufschluss darüber, welche Modellarchitekturen für die Lösung dieser speziellen Herausforderung geeignet sind. Die Arbeit trägt damit zum besseren Verständnis der Grenzen und Möglichkeiten von multimodalen Deep‑Learning‑Modellen bei.