Neues Paper zeigt: Mittlere Attention‑Layer sind besser als Embedding‑Layer für Einflussabschätzung
Die Frage, welche Trainingsdaten ein Large Language Model (LLM) bei seinen Entscheidungen beeinflussen, ist entscheidend für die Interpretation von Modellausgaben und die Überprüfung großer Datensätze. Traditionelle Einfluss‑Schätzungen nutzen dazu die Gradienten des Modells, doch bei heutigen Milliarden‑Parameter‑Modellen ist die Berechnung oft auf wenige Schichten beschränkt.
