CoPE: Komplexe Positionskodierung steigert Transformer-Leistung

In den letzten Jahren hat sich gezeigt, dass die Einbindung von Positionsinformationen in Transformer‑Architekturen die Modellierung von Abhängigkeiten zwischen Sequenzelementen deutlich verbessert. Die neue Methode namens CoPE (CoPE steht für “Complex Positional Encoding”) nutzt dafür komplexwertige Einbettungen, die sowohl semantische Inhalte als auch Positionsdaten gleichzeitig darstellen.

Bei CoPE übernimmt der reale Teil der komplexen Vektoren die semantische Information, während der imaginäre Teil die Positionsinformation trägt. Dadurch wird die klassische Positionskodierung durch ein kompakteres und zugleich leistungsfähigeres System ersetzt.

Ein besonderes Merkmal von CoPE ist die phase‑bewusste Aufmerksamkeit, die im ersten Transformer‑Layer eingesetzt wird, um positionsabhängige Muster zu erfassen. In den nachfolgenden Layern erfolgt die Standard‑Aufmerksamkeit. Die Methode zeigt keine langfristige Abnahme der Positionsinformation und lässt sich problemlos mit linearer Aufmerksamkeit kombinieren.

Experimentelle Tests auf dem GLUE‑Benchmark demonstrieren, dass CoPE die Leistung gegenüber etablierten Ansätzen wie RoPE, sinusoidalen und lernbaren Positionskodierungen übertrifft, während gleichzeitig die Rechenkomplexität reduziert wird.