Transformer-Trennungen: Positionale und symbolische Aufmerksamkeit getrennt

Eine neue Untersuchung auf arXiv beleuchtet, wie Transformer die Position und Bedeutung von Wörtern getrennt verarbeiten. Dabei steht die Trennung von posi­tionaler und symbolischer Information im Fokus, die für das Sprachverständnis und die Sprachproduktion entscheidend ist.

Im Kern der Arbeit steht die Rotary Positional Encoding (RoPE), die in vielen Modellen eingesetzt wird. Die Autoren argumentieren, dass RoPE seine Wirkung aus der Fähigkeit zieht, robuste Positions‑ und semantische Informationen über unterschiedliche Frequenzen zu kodieren – große Frequenzen für die Position, kleine Frequenzen für die Bedeutung.

Die Studie definiert zunächst klar, was es bedeutet, dass ein Attention‑Head „positionell“ oder „symbolisch“ arbeitet, und zeigt theoretisch, dass diese beiden Verhaltensweisen sich gegenseitig ausschließen. Anschließend wird ein Messmaß entwickelt, das die Ausprägung dieser beiden Eigenschaften quantifiziert.

Mit diesem Rahmenwerk werden große Sprachmodelle, die RoPE nutzen, analysiert. Die Ergebnisse zeigen, dass sämtliche Heads eine starke Korrelation zwischen ihrem Verhalten und der verwendeten Frequenz aufweisen. Positionale Heads greifen vorwiegend hohe Frequenzen, symbolische Heads nutzen niedrige Frequenzen.

Zur Verifikation wurden kanonische Aufgaben konzipiert, die ausschließlich positions­ oder symbolische Informationen erfordern. Die Experimente demonstrieren, dass die Leistung des Transformers direkt davon abhängt, ob die Attention‑Heads die passenden Frequenzen nutzen können. Durch gezielte Einschränkung der Frequenzzugriffe lässt sich die Modellleistung kontrollieren.

Insgesamt liefert die Arbeit ein detailliertes Verständnis dafür, wie RoPE die Modellverhalten steuert und welche Rolle die Frequenzwahl bei der Trennung von Positions‑ und Bedeutungsinformation spielt. Diese Erkenntnisse können dazu beitragen, Transformer‑Modelle gezielter zu optimieren und ihre Interpretierbarkeit zu verbessern.