Automatisierte Analyse deckt Modality-Bias in Fehlinformations-Benchmarks auf

Multimodale Fehlinformations-Benchmarks zeigen häufig einen Bias, bei dem Detektoren ihre Vorhersagen ausschließlich auf einer einzigen Modalität – etwa Text oder Bild – stützen. Bisher wurden solche Verzerrungen meist auf Datensatzebene quantifiziert oder durch manuelle Analyse von spurious correlations identifiziert, was jedoch keine tiefe Einsicht auf einzelne Sample-Ebene bietet und sich schwer skalieren lässt.

In der vorliegenden Arbeit wird ein automatisierter Ansatz vorgestellt, der Modality-Bias auf Sample-Ebene erkennt. Dazu werden drei unterschiedliche Quantifizierungsansätze kombiniert: eine grobe Bewertung des Modalitätsgewinns, eine mittlere Analyse des Informationsflusses zwischen Modalitäten und eine feine kausale Untersuchung. Durch das Ensembling dieser Ansichten entsteht eine robuste, automatisierte Analyse, die auch bei der großen Menge an Online-Informationen anwendbar ist.

Eine menschliche Evaluation an zwei populären Benchmarks bestätigt die Wirksamkeit des Ansatzes. Die wichtigsten Erkenntnisse sind: 1) Das Zusammenführen mehrerer Perspektiven ist entscheidend für zuverlässige Ergebnisse; 2) Automatisierte Analysen können durch Schwankungen der Detektoren beeinflusst werden; 3) Bei Modality-balanced Samples stimmen die verschiedenen Ansichten stark überein, divergieren jedoch bei stark biasierten Samples. Diese Ergebnisse legen einen klaren Weg für zukünftige Forschungen im Bereich multimodaler Fehlinformationen nahe.