RoPE erklärt das Slash-Muster in Attention: Warum es entsteht

Große Sprachmodelle zeigen häufig ein auffälliges „Slash‑Muster“ in ihren Aufmerksamkeitswerten: die Scores konzentrieren sich entlang einer Diagonale mit einem festen Versatz. Dieses Phänomen spielt eine entscheidende Rolle beim Informationsfluss zwischen Tokens, doch die Gründe für seine Entstehung waren lange Zeit ungeklärt.

In der aktuellen Studie wird das Slash‑Muster systematisch untersucht. Durch die Analyse von Open‑Source‑LLMs konnte gezeigt werden, dass die sogenannten Slash‑Dominant Heads (SDHs) ein inhärentes Merkmal der Modelle sind und auch bei völlig neuen, nicht im Trainingsdatensatz vorkommenden Eingaben auftreten.

Die Autoren identifizierten zwei charakteristische Bedingungen, die SDHs begünstigen: Erstens sind die Query‑ und Key‑Vektoren nahezu Rang‑eins, und zweitens dominiert bei der Rotations‑Positions‑Einbettung (RoPE) ein mittleres bis hohes Frequenzspektrum. Unter diesen Umständen sind Query und Key über die Tokens hinweg nahezu identisch, und die Wechselwirkung zwischen den mittleren und hohen Frequenzkomponenten von RoPE erzeugt das Slash‑Muster.

Darüber hinaus liefern theoretische Analysen einen Beweis dafür, dass diese Bedingungen ausreichen, um SDHs zu erzeugen. Durch die Untersuchung der Trainingsdynamik eines flachen Transformers mit RoPE wird gezeigt, dass Modelle, die mittels Gradientenabstieg trainiert werden, zwangsläufig SDHs entwickeln. Diese Eigenschaft bleibt auch bei Eingaben, die außerhalb der Trainingsverteilung liegen, erhalten.

Die Ergebnisse liefern somit ein umfassendes Verständnis dafür, warum Slash‑Muster in Attention entstehen, und zeigen, dass sie ein robustes, generalisierendes Merkmal moderner Sprachmodelle sind.