AMUSE: Benchmark für Agenten-Orientierte Audio-Video-Verständnis

Neuste multimodale Sprachmodelle wie GPT‑4o und Qwen3‑Omni zeigen beeindruckende Wahrnehmungsfähigkeiten, doch sie kämpfen in Szenarien mit mehreren Sprechern, die agentisches Denken erfordern. In solchen dialogzentrierten Umgebungen muss das Modell nicht nur erkennen, wer spricht, sondern auch Rollen verfolgen und Ereignisse über die Zeit hinweg verankern – Aufgaben, die im Bereich der multimodalen Audio‑Video‑Verständnis zentral sind.

Um diese Herausforderungen gezielt zu messen, stellt das neue AMUSE‑Benchmark vor. Es besteht aus Aufgaben, die von Natur aus agentisch sind und das Modell dazu zwingen, komplexe Audio‑Video‑Interaktionen in Planungs-, Grounding‑ und Reflexionsschritte zu zerlegen. AMUSE bewertet multimodale große Sprachmodelle in drei Modi – Zero‑Shot, Guided und Agentic – und umfasst sechs Aufgabenfamilien, darunter räumlich‑zeitliches Sprecher‑Grounding und multimodale Dialogzusammenfassung.

Die ersten Tests zeigen, dass aktuelle Modelle in allen Modi noch schwache Mehrsprecher‑Logik aufweisen und ihr Verhalten unter nicht‑agentischen sowie agentischen Prüfungen inkonsistent bleibt. Um diese Lücke zu schließen, wurde RAFT entwickelt: ein daten‑effizientes, agentisches Alignment‑Framework. RAFT kombiniert Belohnungsoptimierung mit intrinsischer multimodaler Selbstbewertung als Reward und nutzt selektive Parameter‑Anpassung, um sowohl Daten- als auch Parameter‑Effizienz zu gewährleisten.

Durch den Einsatz von RAFT konnten die Autoren eine relative Verbesserung von bis zu 39,52 % in der Genauigkeit auf dem AMUSE‑Benchmark erzielen. AMUSE und RAFT bilden somit eine praxisnahe Plattform, um agentisches Denken in multimodalen Modellen zu untersuchen und ihre Fähigkeiten nachhaltig zu steigern.