Reise-Wellen als neue Positionskodierung für Transformer: RollPE schlägt RoPE

Transformers benötigen Positionskodierungen, um die inhärente Permutationsinvarianz der Selbstaufmerksamkeit zu kompensieren. Traditionell werden absolute sinusförmige Einbettungen oder lernbare Positionsvektoren eingesetzt, während neuere Ansätze relative Kodierungen bevorzugen, um Translation‑Equivarien besser abzubilden. In der aktuellen Studie wird RollPE vorgestellt, ein innovatives Verfahren, das auf reisenden Wellen basiert und durch eine kreisförmige Roll‑Operation die Query‑ und Key‑Tensoren verschiebt. Dadurch entsteht ein relativer Phasen‑Schift zwischen Positionen, sodass die Aufmerksamkeit als Funktion der Positionsdifferenz berechnet wird.

Die Autoren zeigen, dass RollPE die Leistung gegenüber klassischen absoluten Positionskodierungen deutlich steigert und mit dem etablierten RoPE vergleichbar ist. Zusätzlich wird eine kontinuierliche Variante von RollPE entwickelt, die implizit eine topografische Struktur im Query‑ und Key‑Raum erzeugt. Durch eine mathematische Analyse wird RollPE sogar als spezielle Konfiguration von RoPE identifiziert, was die beiden Methoden näher zusammenbringt.

Die Perspektive, RollPE als Reise‑Wellen zu betrachten, eröffnet neue Möglichkeiten, RoPE zu vereinfachen und die Kodierung mit Informationsflussprozessen im Gehirn zu verknüpfen. Diese Erkenntnisse könnten die Entwicklung effizienterer und biologisch inspirierter Transformer‑Architekturen vorantreiben.