VisTIRA schließt Bild-Text-Lücke in visueller Mathematik

Vision‑Language‑Modelle (VLMs) schneiden bei mathematischem Denken schlechter ab als reine Text‑Modelle, wenn dieselben Aufgaben als Bilder vorliegen. Der Unterschied, der als „Modality‑Gap“ bezeichnet wird, entsteht vor allem durch Schwierigkeiten beim Lesen dichter Formeln, komplexer Layouts und gemischter symbolischer sowie diagrammatischer Inhalte.

Um dieses Problem zu lösen, stellt das neue Framework VisTIRA (Vision and Tool‑Integrated Reasoning Agent) vor. VisTIRA nutzt strukturierte Tool‑Integration: ein Bild‑Problem wird schrittweise in natürliche Sprachbegründungen zerlegt, die anschließend in ausführbare Python‑Schritte übersetzt werden, um die endgültige Antwort zu berechnen.

Zur Messung und Verbesserung der visuellen Mathematik‑Reasoning‑Leistung wurde ein LaTeX‑basierter Pipeline entwickelt, der bestehende Chain‑of‑Thought‑Korpora wie NuminaMath in anspruchsvolle Bild‑Versionen umwandelt. Zusätzlich wurden synthetische Tool‑Verwendungstrails aus dem realen, homework‑ähnlichen Bild‑Datensatz SnapAsk generiert, um VLMs gezielt zu feintunen.

Die Experimente zeigen, dass die tool‑integrierte Supervision die Bild‑basierten Ergebnisse deutlich verbessert. OCR‑Grounding kann die Lücke bei kleineren Modellen weiter verkleinern, wirkt sich jedoch bei größeren Modellen weniger stark aus. Die Studie verdeutlicht, dass die Schwere des Modality‑Gaps mit der Modellgröße umgekehrt korreliert und dass strukturierte Problemlösung sowie OCR‑basierte Grounding‑Strategien sich ergänzen, um die visuelle mathematische Intelligenz nachhaltig zu steigern.