Multimodale Chain-of-Thought: Analyse zeigt Grenzen der Domänenübergreifenden

Die jüngsten Fortschritte bei multimodalen Chain-of-Thought (CoT)-Modellen haben vor allem in wissenschaftlichen Frage‑Antwort‑Benchmarks wie ScienceQA beeindruckende Ergebnisse erzielt. Dennoch bleibt unklar, wie gut diese Ansätze auf andere Domänen übertragbar sind, die ein breiteres Allgemeinwissen und unterschiedliche Bild‑ und Textkombinationen erfordern.

In dieser Studie wird Multimodal‑CoT systematisch auf drei anspruchsvolle Datensätze – A‑OKVQA, OKVQA und ChartQA – angewendet. Diese Aufgaben verlangen nicht nur wissenschaftliches Verständnis, sondern auch umfangreiches commonsense‑ und Weltwissen, was die Generalisierbarkeit der Modelle auf die Probe stellt.

Die Autoren nutzen ein zweistufiges Framework, das von Zhang et al. vorgeschlagen wurde. Dabei wird die Begründung (Rationale) separat generiert und anschließend zur Antwortfindung verwendet. Bildmerkmale werden über einen gated‑Fusion‑Mechanismus in T5‑basierte Sprachmodelle integriert. Durch gezielte Ablationsstudien werden die Beiträge von visuellen Features, der Qualität der Begründungen und architektonischen Entscheidungen analysiert.

Die Ergebnisse zeigen, dass die Einbindung von Bildinformationen die Halluzinationen in den generierten Begründungen deutlich reduziert. Gleichzeitig variiert die Wirksamkeit des CoT‑Ansatzes stark je nach Fragetyp; insbesondere bei commonsense‑basierten Fragen treten erhebliche Herausforderungen auf. Die Arbeit liefert wertvolle praktische Hinweise für die Entwicklung multimodaler Reasoning‑Systeme und hebt zentrale Bereiche für zukünftige Verbesserungen in der domänenübergreifenden Generalisierung hervor.