Erklärung des Attention‑Sinks: Warum LLMs den ersten Token dominieren

In großen Sprachmodellen kommt es häufig vor, dass ein einzelner Token unverhältnismäßig viel Aufmerksamkeit erhält – ein Phänomen, das als Attention‑Sink bezeichnet wird. Die neue Studie zeigt, dass dieser Effekt besonders stark beim ersten Token der Eingabesequenz auftritt und damit die Funktionsweise vieler Anwendungen beeinflusst.

Die Autoren identifizieren einen einfachen Mechanismus, den sie „P0 Sink Circuit“ nennen. Dieser erkennt den Token an Position Null und erzeugt innerhalb von nur zwei Transformer‑Blöcken einen Attention‑Sink, ohne dabei semantische Informationen zu nutzen. Damit liefert die Arbeit eine klare Erklärung dafür, warum der erste Token so stark betont wird.

Durch die Analyse von Trainingsverläufen eines 30‑Billionen‑Parameter‑MoE‑Modells konnten die Forscher feststellen, dass das P0‑Sink‑Circuit bereits früh im Training entsteht und sich zunehmend in den ersten beiden Schichten konzentriert. Dieses Muster könnte als Indikator für den Fortschritt vor dem eigentlichen Training dienen.

Die Erkenntnisse unterstreichen die Bedeutung einer strukturellen Bias‑Analyse in Sprachmodellen. Sie zeigen, dass der Attention‑Sink nicht nur ein Nebeneffekt ist, sondern ein systematisches Verhalten, das bei der Entwicklung und beim Einsatz von LLMs berücksichtigt werden muss.