Probe‑Genauigkeit reicht nicht: Neue Metriken für Konzeptausrichtung in KI
In der aktuellen Forschung zur erklärbaren KI wird deutlich, dass die übliche Messgröße – die Klassifikationsgenauigkeit von sogenannten Probe‑Klassifikatoren – nicht aussagekräftig genug ist, um zu beurteilen, ob ein Konzept‑Aktivierungsvektor (CAV) tatsächlich das beabsichtigte Konzept erfasst. Ein neues arXiv‑Veröffentlichung zeigt, dass Probe‑Klassifikatoren häufig auf spurious correlations zurückgreifen und damit ein hohes Accuracy‑Level erreichen, obwohl sie das Zielkonzept nicht korrekt repräsentieren.
