Feature‑Salienz bestimmt XAI‑Erklärungen, nicht Informationsgehalt

Explainable‑AI‑Methoden (XAI) versprechen, die Entscheidungsprozesse von Machine‑Learning‑Modellen transparent zu machen. Dabei geht man häufig davon aus, dass die von XAI als wichtig markierten Eingangsmerkmale tatsächlich Informationen über die Zielvariable enthalten.

In einer neuen Studie wurde diese Annahme hinterfragt. Forscher trainierten tiefe Lernmodelle für eine binäre Bildklassifikation, wobei sie transparente Wasserzeichen als unterschiedliche Störfaktoren einsetzten: einmal fehlend, einmal als klassenabhängige Konfundierung und einmal als klassenunabhängiges Rauschen. Anschließend wurden fünf populäre Attributionsmethoden angewendet.

Die Ergebnisse zeigten, dass sämtliche Modelle – unabhängig von der Trainingskonfiguration – ein deutlich höheres relativen Wichtigkeitsniveau in den wasserzeichenbetroffenen Bildbereichen aufwiesen (R² ≥ 0,45). Ob die Wasserzeichen klassenabhängig waren oder nicht, hatte nur einen marginalen Einfluss auf die Wichtigkeit (R² ≤ 0,03), obwohl sie die Modellleistung und Generalisierungsfähigkeit stark beeinflussten. XAI‑Methoden verhielten sich ähnlich wie modellunabhängige Kantenerkennungsfilter und wiesen weniger Wichtigkeit zu, wenn helle Bildintensitäten durch kleinere statt größere Feature‑Werte kodiert wurden.

Diese Befunde deuten darauf hin, dass die Salienz von Bildstrukturen zum Zeitpunkt des Tests die Haupttreiber für die Wichtigkeitszuweisung in XAI‑Erklärungen sind, nicht unbedingt die statistische Informativeness. Für die Praxis bedeutet das, dass Erklärungen von XAI-Tools kritisch hinterfragt werden sollten, da sie visuell auffällige Merkmale überbetonen können, die für die Zielvorhersage wenig relevant sind.