Aufklärung Aufmerksamkeitsköpfe Vision‑Language‑Modellen: Belege Rechenmodule

Vision‑Language‑Modelle (VLMs) dominieren die multimodalen Benchmarks, bleiben jedoch weitgehend ein Black‑Box‑Phänomen. In einer neuen Studie wird ein innovatives Interpretationsframework vorgestellt, das die inneren Mechanismen dieser Modelle systematisch untersucht und dabei die funktionalen Rollen der Aufmerksamkeitsköpfe in multimodalen Denkprozessen beleuchtet.

Das Team hat das Dataset CogVision entwickelt, das komplexe multimodale Fragen in schrittweise Unterfragen zerlegt. Diese Unterfragen simulieren menschliches Denken im „Chain‑of‑Thought“-Paradigma und sind jeweils einer spezifischen Wahrnehmungs‑ oder kognitiven Funktion zugeordnet, etwa hochrangiger visueller Wahrnehmung oder Inferenz.

Durch eine probing‑basierte Methodik konnten die Forscher Aufmerksamkeitsköpfe identifizieren, die sich auf diese Funktionen spezialisiert haben, und diese als „funktionale Köpfe“ klassifizieren. Die Analyse über verschiedene VLM‑Familien hinweg zeigte, dass diese Köpfe universell sparsichtig sind, in ihrer Anzahl und Verteilung variieren und die Interaktion sowie die hierarchische Organisation der Modelle steuern.

Interventionsstudien belegen die entscheidende Rolle dieser Köpfe: Das Entfernen funktionaler Köpfe führt zu einem deutlichen Leistungsabfall, während deren Verstärkung die Genauigkeit steigert. Diese Ergebnisse liefern neue Einblicke in die kognitive Struktur von VLMs und eröffnen Wege, Modelle mit stärker menschlich ausgerichteten Wahrnehmungs‑ und Denkfähigkeiten zu entwickeln.