Neues Paper zeigt: Mittlere Attention‑Layer sind besser als Embedding‑Layer für Einflussabschätzung

Die Frage, welche Trainingsdaten ein Large Language Model (LLM) bei seinen Entscheidungen beeinflussen, ist entscheidend für die Interpretation von Modellausgaben und die Überprüfung großer Datensätze. Traditionelle Einfluss‑Schätzungen nutzen dazu die Gradienten des Modells, doch bei heutigen Milliarden‑Parameter‑Modellen ist die Berechnung oft auf wenige Schichten beschränkt.

Frühere Studien, wie die von Yeh et al. (2022), kamen zu dem Ergebnis, dass die ersten (Embedding‑)Schichten am aussagekräftigsten seien, weil sie laut Hypothese einen „Cancellation‑Effect“ aufweisen. Das neue Paper liefert sowohl theoretische als auch experimentelle Belege dafür, dass dieser Effekt unzuverlässig ist und dass die mittleren Attention‑Layer tatsächlich bessere Einfluss‑Schätzer darstellen.

Darüber hinaus wird das Problem der Aggregation von Einfluss‑Scores über mehrere Schichten angegangen. Die Autoren zeigen, dass alternative Verfahren wie Rang‑ und Abstimmungs‑Methoden die klassische Mittelwertbildung deutlich übertreffen und so die Genauigkeit der Einfluss‑Schätzung erhöhen.

Schließlich wird ein neues Evaluationsmaß namens Noise Detection Rate (NDR) vorgestellt. NDR ermöglicht es, die Wirksamkeit von Einfluss‑Scores zu beurteilen, ohne das Modell neu trainieren zu müssen, und demonstriert eine starke Vorhersagekraft für die Qualität der Schätzungen.