Von Erklärbarkeit von Features zu Aktionen: statisch vs agentisch

Eine neue Arbeit, veröffentlicht auf arXiv (2602.06841v1), beleuchtet die Erklärbarkeit von KI-Systemen, die über mehrere Schritte hinweg handeln. Während die Forschung in den letzten zehn Jahren vor allem einzelne Vorhersagen interpretierte, ermöglichen moderne große Sprachmodelle (LLMs) agentische KI, deren Erfolg von einer gesamten Entscheidungssequenz abhängt.

Der Artikel untersucht, wie sich klassische, attributionsbasierte Erklärungen – die für statische Klassifikationsaufgaben entwickelt wurden – in diesen dynamischen, agentischen Szenarien verhalten. Dazu werden die Methoden systematisch mit trace‑basierten Diagnostiken verglichen, die speziell für Agenten entwickelt wurden.

Die Autoren führen Experimente sowohl in statischen Klassifikationsaufgaben als auch in agentischen Benchmarks (TAU‑Bench Airline und AssistantBench) durch. In den statischen Tests erzielen attributionsbasierte Verfahren stabile Feature‑Rankings (Spearman‑Rho = 0,86). In den agentischen Tests zeigen sich jedoch gravierende Schwächen: Die gleichen Methoden können keine Ausführungsfehler zuverlässig diagnostizieren.

Im Gegensatz dazu liefert die trace‑basierte Analyse klare Einblicke. Sie lokalisiert Verhaltensfehler präzise und zeigt, dass Inkonsistenzen im Zustands‑Tracking bei fehlgeschlagenen Läufen 2,7‑mal häufiger auftreten und die Erfolgswahrscheinlichkeit um 49 % senken.

Diese Ergebnisse legen nahe, dass für agentische KI-Systeme ein Wechsel hin zu Trajektorien‑level‑Erklärungen notwendig ist. Nur so lassen sich Fehlerquellen im Verlauf des Entscheidungsprozesses nachvollziehen und gezielt verbessern.