Fusion von Positionskodierungen entscheidend für lange Texte in Transformers
Transformers brauchen Positionskodierungen, um die Reihenfolge von Tokens zu erfassen. Während die Forschung bisher vor allem neue Kodierungen erforscht hat, bleibt die Art und Weise, wie diese Informationen mit den Token‑Einbettungen kombiniert werden, oft unbeachtet. In einer neuen Studie wird genau das untersucht: Wie wirkt sich die Fusion selbst auf die Leistung aus, besonders bei langen Sequenzen?
