Neues Verfahren trennt multimodale Beiträge – PID liefert klare Einblicke
Die genaue Messung, wie stark einzelne Modalitäten in multimodalen Modellen beitragen, ist bislang ein schwieriges Problem. Traditionelle Ansätze messen die Leistung eines Modells, nachdem eine Modalität entfernt wurde, und ziehen daraus Schlüsse über deren Einfluss. Diese aus Ergebnis abgeleiteten Kennzahlen können jedoch nicht unterscheiden, ob eine Modalität von sich aus informativ ist oder nur durch Wechselwirkungen mit anderen Modalitäten an Wert gewinnt.