Neuer Credibility-Index misst Vertrauensstärke von XAI-Erklärungen

Erklärbare KI-Methoden wie SHAP und LIME werden immer häufiger eingesetzt, um Modelle in hochriskanten Geschäftsbereichen zu interpretieren. Doch bislang fehlt ein quantitativer Maßstab, der die Stabilität dieser Erklärungen unter realen Datenveränderungen bewertet.

Die Autoren stellen den Credibility Index via Explanation Stability (CIES) vor – ein mathematisch fundiertes Kriterium, das misst, wie robust die Begründungen eines Modells bleiben, wenn die Daten leicht gestört werden. CIES nutzt eine ranggewichtete Distanzfunktion, die Instabilitäten bei den wichtigsten Merkmalen stärker bestraft, denn Änderungen in den Hauptentscheidungsfaktoren haben in der Praxis größere Auswirkungen als bei Randmerkmalen.

In einer umfassenden Evaluation wurden drei typische Geschäftsdatenbanken (Kundenabwanderung, Kreditrisiko, Mitarbeiterfluktuation) mit vier baumbasierten Klassifikationsmodellen und zwei Ausgleichsstrategien untersucht. Die Ergebnisse zeigen, dass die Modellkomplexität die Erklärungszuverlässigkeit beeinflusst, die Behandlung von Klassenungleichgewicht mit SMOTE nicht nur die Vorhersageleistung, sondern auch die Erklärungstabilität verändert, und dass CIES in allen 24 Konfigurationen statistisch signifikant besser differenziert als ein einheitliches Basismaß (p < 0,01).

Eine Sensitivitätsanalyse über vier Rauschstufen bestätigt die Robustheit des Index selbst. Diese Erkenntnisse liefern Unternehmen ein einsatzbereites „Vertrauenswarnsystem“ für KI-gestützte Entscheidungsunterstützung und ermöglichen es, nicht nur die Genauigkeit, sondern auch die Glaubwürdigkeit von Modellen systematisch zu überwachen.