AVLLMs: Warum Audio im Text oft untergeht – neue Studie enthüllt Bias

Audio‑Visual Large Language Models (AVLLMs) gelten als vielversprechende Schnittstelle für multimodale Wahrnehmung. In einer ersten mechanistischen Analyse wurden die Abläufe von Audio‑ und Bilddaten durch die Schichten eines AVLLMs verfolgt, um zu verstehen, wie sie letztlich zu Textausgaben führen.

Die Untersuchung zeigte, dass AVLLMs in Zwischenschichten reichhaltige Audio‑Semantik erfassen. Doch wenn Audio‑ und Bildsignale im Widerspruch stehen, fließt diese Information kaum in die finale Textgenerierung ein. Die Modelle bevorzugen visuelle Darstellungen und lassen akustische Hinweise weitgehend unberücksichtigt.

Durch gezielte Probes wurden jedoch nachgewiesen, dass latente Audio‑Informationen vorhanden sind. Sie werden jedoch in tieferen Fusion‑Schichten unterdrückt, weil dort die visuelle Repräsentation dominanter wirkt. Dieser Ungleichgewichtsschwund lässt sich auf das Training zurückführen: Das Audio‑Verhalten des Modells entspricht stark dem seiner vision‑language‑Basis, ohne zusätzliche Audio‑Supervision.

Die Ergebnisse legen einen fundamentalen Modus‑Bias in AVLLMs offen und liefern neue mechanistische Einblicke, wie multimodale LLMs Audio und Bild integrieren. Diese Erkenntnisse sind ein wichtiger Schritt, um die Balance zwischen den Modalitäten zu verbessern und die Leistungsfähigkeit multimodaler KI‑Modelle zu steigern.