Neues Verfahren trennt multimodale Beiträge – PID liefert klare Einblicke

Die genaue Messung, wie stark einzelne Modalitäten in multimodalen Modellen beitragen, ist bislang ein schwieriges Problem. Traditionelle Ansätze messen die Leistung eines Modells, nachdem eine Modalität entfernt wurde, und ziehen daraus Schlüsse über deren Einfluss. Diese aus Ergebnis abgeleiteten Kennzahlen können jedoch nicht unterscheiden, ob eine Modalität von sich aus informativ ist oder nur durch Wechselwirkungen mit anderen Modalitäten an Wert gewinnt.

In der vorliegenden Arbeit wird ein neues Framework vorgestellt, das die Partial Information Decomposition (PID) nutzt, um die Vorhersageinformation in internen Embeddings in einzigartige, redundante und synergistische Komponenten aufzuteilen. Damit lässt sich der eigentliche Beitrag jeder Modalität präzise bestimmen. Für eine skalierbare, rein inferenzbasierte Analyse wurde ein Algorithmus auf Basis des Iterative Proportional Fitting Procedure (IPFP) entwickelt, der Schichten- und Datensatz‑level Beiträge berechnet, ohne das Modell neu trainieren zu müssen.

Das Ergebnis ist ein principiengetreues, auf Repräsentationen ausgerichtetes Bild multimodaler Interaktionen, das deutlich interpretierbarer ist als herkömmliche, ergebnisorientierte Metriken. Durch die Möglichkeit, die Analyse ohne erneutes Training durchzuführen, eröffnet das Verfahren neue Perspektiven für die Untersuchung und Optimierung komplexer multimodaler Architekturen.