AVERE: Emotionserkennung in Audio-Video-Daten durch Präferenzoptimierung

Emotionserkennung ist ein entscheidender Baustein für sozial intelligente Agenten. Trotz der beeindruckenden Leistungen multimodaler Large Language Models (MLLMs) bleiben zwei zentrale Probleme bestehen: die Tendenz, Emotionen mit irrelevanten audiovisuellen Signalen zu verknüpfen, und die Erzeugung von Halluzinationen, die von textbasierten Vorannahmen des Modells getrieben werden.

Um diese Herausforderungen zu quantifizieren und gezielt anzugehen, wurde das neue Benchmark‑Set EmoReAlM entwickelt. Es bewertet MLLMs hinsichtlich ihrer Fähigkeit, korrekte Zusammenhänge zwischen audiovisuellen Hinweisen und Emotionen herzustellen, Halluzinationen zu erkennen und die Übereinstimmung zwischen Modalitäten sicherzustellen.

Auf Basis dieses Benchmarks stellt AVEm‑DPO ein Präferenzoptimierungsverfahren vor, das die Antworten von Modellen stärker an die tatsächlichen audiovisuellen Eingaben und an emotionszentrierte Anfragen anpasst. Dabei werden Präferenzen für Antworten definiert, die spurious Associations oder Halluzinationen aufweisen, und die Eingabepaare werden durch gezielte Textprompts gesteuert. Zusätzlich wird ein Regularisierungsterm eingeführt, der die Abhängigkeit von textbasierten Vorannahmen reduziert und so modulenspezifische Halluzinationen minimiert.

Experimentelle Ergebnisse auf den Datensätzen DFEW, RAVDESS und EMER zeigen, dass AVEm‑DPO die Leistung der Basismodelle in Zero‑Shot‑Szenarien um 6 % bis 19 % relativ steigert. Durch die Kombination eines rigorosen Benchmarks mit einem robusten Optimierungsrahmen liefert die Arbeit einen klaren Weg zur Verbesserung von MLLMs im Bereich Emotionserkennung und sozialer KI.

Code, Modelle und das Benchmark‑Set werden unter https://avere-iclr.github.io veröffentlicht.