Erklärungs‑Bias als Produkt: Enthüllung versteckter Wort‑ und Positionspräferenzen

In einer neuen Studie von arXiv‑Veröffentlichung 2512.11108v1 wird gezeigt, dass die Erklärungen von Sprachmodellen nicht neutral sind. Feature‑Attribution‑Methoden wie Integrated Gradients liefern token‑weise Einsichten, doch die Ergebnisse können stark variieren, weil die Methoden selbst Vorurteile besitzen.

Die Autoren haben ein modell‑ und methoden‑agnostisches Rahmenwerk mit drei Evaluationsmetriken entwickelt, um diese Bias‑Strukturen systematisch zu untersuchen. Dabei wurden sowohl lexikalische als auch positionsbezogene Präferenzen für zwei Transformer‑Modelle analysiert – zunächst in einer kontrollierten, pseudo‑zufälligen Klassifikationsaufgabe mit künstlichen Daten, anschließend in einer halb‑kontrollierten Kausalitäts‑Erkennungsaufgabe mit realen Texten.

Die Ergebnisse sind eindeutig: Lexikalische und positionsbezogene Bias‑Tendenzen sind strukturell unausgeglichen. Modelle, die bei einer Bias‑Kategorie hohe Werte erzielen, schneiden bei der anderen Kategorie schlechter ab. Zudem weisen Methoden, die ungewöhnliche Erklärungen liefern, häufiger Bias‑Anzeichen auf, was die Vertrauenswürdigkeit dieser Post‑Hoc‑Explainer in Frage stellt.