Erklärungs‑Lotterie: Gleiche Vorhersagen, unterschiedliche Feature‑Attributionen

Eine neue Studie zeigt, dass Modelle, die exakt dieselben Vorhersagen liefern, bei der Erklärung der Ergebnisse völlig unterschiedliche Feature‑Attributionen erzeugen.

Die Untersuchung umfasste 24 Datensätze und mehrere Modellklassen, darunter lineare Modelle, Entscheidungsbäume und neuronale Netze.

Innerhalb derselben Hypothesenklasse stimmen die Feature‑Attributionen stark überein, während Modelle aus unterschiedlichen Klassen – etwa tree‑basierte vs. lineare – deutlich weniger Übereinstimmung aufweisen, oft nahe oder unter dem sogenannten Lotterie‑Schwellenwert.

Die Autoren nennen dieses Phänomen die „Erklärungs‑Lotterie“ und zeigen theoretisch, dass die Diskrepanz auch bei Interaktionsstrukturen im Daten‑generierenden Prozess erhalten bleibt.

Zur Diagnose wurde ein post‑hoc Score namens Explanation Reliability Score R(x) entwickelt, der vorhersagen kann, wann Erklärungen über verschiedene Architekturen hinweg stabil bleiben, ohne dass zusätzliche Trainings erforderlich sind.

Die Ergebnisse unterstreichen, dass die Auswahl der Modellarchitektur nicht neutral ist: Sie bestimmt, welche Features letztlich die Verantwortung für eine Entscheidung tragen.