Feature-Level Interaktions-Erklärungen in multimodalen Transformern

Neue Forschung aus dem Bereich multimodaler KI zeigt, wie Transformer‑Modelle nicht nur Vorhersagen treffen, sondern auch erklären können, welche Kombinationen von Merkmalen aus verschiedenen Modalitäten tatsächlich zur Entscheidungsfindung beitragen. Der Ansatz namens Feature-level I2MoE (FL‑I2MoE) nutzt eine strukturierte Mixture‑of‑Experts‑Schicht, die direkt auf Token‑ und Patch‑Sequenzen aus vortrainierten Encodern arbeitet und dabei einzigartige, synergetische und redundante Beweise auf Feature‑Ebene trennt.

FL‑I2MoE kombiniert Attribution mit einer Top‑K%‑Maskierung, um die Glaubwürdigkeit der Erklärungen zu prüfen, und führt Monte‑Carlo‑Interaktionsprobes ein. Dabei werden der Shapley Interaction Index (SII) zur Bewertung synergistischer Paare und ein Redundanz‑Gap‑Score zur Erfassung austauschbarer Paare verwendet. Diese Metriken ermöglichen es, die wichtigsten Interaktionen zwischen Merkmalen präzise zu identifizieren.

In drei unterschiedlichen Benchmark‑Datensätzen – MMIMDb, ENRICO und MMHS150K – liefert FL‑I2MoE deutlich konzentriertere und interaktionsspezifischere Wichtigkeitsmuster als ein dichter Transformer mit denselben Encodern. Zusätzlich zeigen Experimente mit Paar‑Maskierung, dass das Entfernen von Paare, die nach SII oder Redundanz‑Gap als wichtig eingestuft wurden, die Modellleistung stärker beeinträchtigt als das zufällige Maskieren gleicher Anzahl von Paaren. Dies bestätigt, dass die identifizierten Interaktionen kausal relevant sind.