Multimodale Kohärenz neu bewertet: Der MCS-Metrik für KI-Modelle

In einer neuen Studie von arXiv:2603.25924v1 wird gezeigt, dass die übliche Messung der Genauigkeit bei multimodalen KI-Systemen nicht ausreicht, um die Kohärenz der zugrunde liegenden Daten zu beurteilen. Ein Modell kann bei Visual Question Answering (VQA) hervorragende Ergebnisse erzielen, obwohl die Bild- und Textinformationen sich widersprechen.

Um dieses Problem zu lösen, wurde der Multimodal Coherence Score (MCS) entwickelt. Der MCS bewertet die Qualität der Fusion unabhängig von einem spezifischen Downstream-Modell und zerlegt die Kohärenz in vier Dimensionen: Identität, Raum, Semantik und Entscheidung. Die Gewichtung dieser Dimensionen wird mithilfe der Nelder‑Mead‑Optimierung bestimmt.

Die Autoren testeten den MCS an 1.000 Bildern aus Visual Genome mit den Modellen DETR, CLIP und ViLT und validierten die Ergebnisse anschließend an 150 COCO‑Bildern ohne erneutes Training. In allen drei Fusion-Architekturen zeigte der MCS eine höhere Sensitivität als die reine Aufgaben‑Genauigkeit (Spearman‑Rho 0,093 vs. 0,071). Durch gezielte Störungs­experimente wurde bestätigt, dass jede Dimension unabhängig auf ihren jeweiligen Fehler reagiert, ohne dass es zu Quersprechen kommt.

Der MCS ist leichtgewichtig, erfordert keine menschliche Annotation und liefert nicht nur an, dass etwas schiefgelaufen ist, sondern auch, welche Komponente betroffen ist. Damit bietet er Forschern und Entwicklern ein präzises Werkzeug, um die Kohärenz multimodaler Systeme systematisch zu überwachen und zu verbessern.