Fusion von Positionskodierungen entscheidend für lange Texte in Transformers
Transformers brauchen Positionskodierungen, um die Reihenfolge von Tokens zu erfassen. Während die Forschung bisher vor allem neue Kodierungen erforscht hat, bleibt die Art und Weise, wie diese Informationen mit den Tok…