CoPE: Komplexe Positionskodierung steigert Transformer-Leistung
In den letzten Jahren hat sich gezeigt, dass die Einbindung von Positionsinformationen in Transformer‑Architekturen die Modellierung von Abhängigkeiten zwischen Sequenzelementen deutlich verbessert. Die neue Methode namens CoPE (CoPE steht für “Complex Positional Encoding”) nutzt dafür komplexwertige Einbettungen, die sowohl semantische Inhalte als auch Positionsdaten gleichzeitig darstellen.
