XAI-Tests: Warum aktuelle Bewertungskriterien oft irreführend sind

Erklärbare Künstliche Intelligenz (XAI) soll die Transparenz moderner Modelle erhöhen, indem sie Nutzern verständliche Erklärungen liefert. In der Forschung gibt es jedoch keine einheitlichen Standards, um die Qualität dieser Erklärungen zu beurteilen. Häufig werden ad-hoc-Methoden wie einfache Befragungen eingesetzt, bei denen Nutzer die Modelle mit und ohne Erklärungen vergleichen.

Diese Vorgehensweise liefert jedoch keine verlässlichen Belege dafür, dass die erzeugten Erklärungen tatsächlich von hoher Qualität sind. Denn jede Art von Erklärung wirkt sich im Allgemeinen positiv auf die Nutzerzufriedenheit aus – selbst wenn sie wenig informativ oder sogar falsch ist. Das neue Papier zeigt, dass die meisten Erklärungen, unabhängig von ihrer Genauigkeit, die Zufriedenheit steigern.

Um dem entgegenzuwirken, schlagen die Autoren einen stärkeren Fokus auf „handlungsorientierte“ Erklärungen vor. Diese sollen nicht nur informieren, sondern dem Nutzer konkrete Handlungsoptionen bieten. Die Wirksamkeit dieser Idee wird anhand eines Agenten demonstriert, der Chess-Konzepte vermittelt. Die Ergebnisse verdeutlichen, dass reine Placebo-Erklärungen zwar die Zufriedenheit erhöhen, aber nicht die tatsächliche Nützlichkeit steigern.

Die Studie ruft die XAI-Community dazu auf, über die reine Nutzerzufriedenheit hinauszugehen und robuste, generalisierbare Evaluationsmethoden zu entwickeln. Gleichzeitig wird analysiert, in welchen Szenarien Placebo- oder handlungsorientierte Erklärungen am sinnvollsten sind. Damit liefert die Arbeit einen klaren Impuls für zukünftige Forschungsansätze, die die Qualität von XAI-Erklärungen wirklich messen wollen.