Erfolgreiche multimodale Emotionsregression: 10. ABAW EMI-Track mit VAD-Audio-Optimierung

Im 10. ABAW Challenge haben wir uns dem Emotional Mimicry Intensity (EMI) Track auf dem Hume‑Vidmimic2 Datensatz gestellt. Ziel war es, sechs kontinuierliche Emotionsdimensionen – Admiration, Amusement, Determination, Empathic Pain, Excitement und Joy – präzise vorherzusagen.

Durch eine systematische multimodale Analyse vortrainierter hoch‑level Features zeigte sich, dass die direkte Feature‑Konkatenation die komplexeren Fusion‑Strategien übertrifft. Dieses Ergebnis motivierte uns, ein neues Vorgehen zu entwickeln, das auf drei Kernprinzipien basiert: (i) Erhaltung der modalitätsspezifischen Eigenschaften durch Feature‑Level‑Konkatenation, (ii) Steigerung der Trainingsstabilität und der Messgenauigkeit mittels Multi‑Objective‑Optimierung und (iii) Erweiterung der akustischen Repräsentationen durch einen VAD‑inspirierten latenten Prior.

Unser endgültiges Modell kombiniert die oben genannten Prinzipien in einem zusammenhängenden Framework: eine concatenation‑basierte multimodale Fusion, einen gemeinsamen sechsdimensionalen Regressionskopf, Multi‑Objective‑Optimierung mit MSE, Pearson‑Correlation und zusätzlicher Branch‑Supervision, EMA zur Stabilisierung der Parameter sowie einen VAD‑inspirierten latenten Prior für die akustische Komponente.

Auf dem offiziellen Validierungsset erzielte die vorgeschlagene Methode die bislang höchste mittlere Pearson‑Korrelationskoeffizienten von 0,478567, was die Effektivität unseres Ansatzes unterstreicht.