SCICON: Decodierungsmethode steigert Genauigkeit bei wissenschaftlichen Bild-Quiz

Wissenschaftliche Multiple‑Choice‑Fragen zu Diagrammen, Mikroskopaufnahmen und medizinischen Bildern stellen Modelle vor die Herausforderung, visuelle Beweise korrekt zu interpretieren. Ein häufiges Problem ist, dass die Antwortoptionen selbst als Vorannahmen wirken und das Modell zu plausiblen, aber falschen Antworten führen. Forscher haben dafür die neue, trainingsfreie Decodierungsmethode SCICON entwickelt, die genau dieses Phänomen adressiert.

SCICON bewertet jede Antwortkandidatin, indem es die Bild‑basierten Punktzahlen mit den rein textbasierten Punktzahlen abgleicht. Durch das Abziehen der text‑nur‑Bewertung wird die Vorhersage des Modells von textuellen Vorannahmen entkoppelt und die Entscheidung stärker an den visuellen Beweisen ausgerichtet. Im Gegensatz zu früheren kontrastiven Ansätzen, die auf Bildverzerrungen oder veränderten Anweisungen setzten, zielt SCICON direkt auf die in den Antworttexten verankerten Prioritäten ab.

In Tests auf drei wissenschaftlichen Bild‑QA‑Benchmarks und mit drei unterschiedlichen Modellarchitekturen zeigte SCICON konsequent höhere Genauigkeiten als herkömmliche Decodierungsbaselines. Die Ergebnisse demonstrieren, dass ein einfaches, aber wirkungsvolles Gegenmaß gegen textbasierte Vorannahmen die Bild‑gestützte Argumentation in wissenschaftlichen Multiple‑Choice‑Fragen deutlich verbessert.