MissMAC-Bench: Benchmark für fehlende Modalitäten in multimodaler Affektanalyse

Multimodale Affektanalyse (MAC) nutzt verschiedene Datenquellen, um menschliche Emotionen zu erkennen. In der Praxis sind jedoch die Modalitäten oft unvollständig, was die Leistung der Modelle stark beeinträchtigt.

Um dieses Problem systematisch zu messen, wurde MissMAC-Bench entwickelt. Der Benchmark setzt zwei Grundprinzipien: keine fehlenden Modalitäten im Training und ein einzelnes Modell, das sowohl vollständige als auch unvollständige Daten verarbeiten kann.

Der Test umfasst feste und zufällige Fehlermuster auf Datensatz- und Instanzebene. Auf vier populären Datensätzen wurden drei Sprachmodelle evaluiert, die zeigen, dass verschiedene MAC-Ansätze mit der fehlenden Modalität umgehen können.

MissMAC-Bench liefert eine solide Basis für die Weiterentwicklung robuster multimodaler Affektmodelle und fördert die Anwendung in realen Szenarien.