KI News: Kurz und klar.

Transformers brauchen Positionskodierungen, um die Reihenfolge von Tokens zu erfassen. Während die Forschung bisher vor allem neue Kodierungen erforscht hat, bleibt die Art und Weise, wie diese Informationen mit den Token‑Einbettungen kombiniert werden, oft unbeachtet. In einer neuen Studie wird genau das untersucht: Wie wirkt sich die Fusion selbst auf die Leistung aus, besonders bei langen Sequenzen?

Eine neue Studie auf arXiv beleuchtet die dynamischen Eigenschaften von Tokens in vortrainierten Transformer‑Modellen und zeigt, wie diese Erkenntnisse zur Optimierung von Transformers genutzt werden können. Durch die Analyse des kontinuierlichen Zeitlimits des Modells werden die asymptotischen Verhaltensweisen der Tokens beschrieben – ob sie sich im Laufe der Zeit näher kommen oder weiter voneinander entfernen.

Transformers benötigen Positionskodierungen, um die inhärente Permutationsinvarianz der Selbstaufmerksamkeit zu kompensieren. Traditionell werden absolute sinusförmige Einbettungen oder lernbare Positionsvektoren eingesetzt, während neuere Ansätze relative Kodierungen bevorzugen, um Translation‑Equivarien besser abzubilden. In der aktuellen Studie wird RollPE vorgestellt, ein innovatives Verfahren, das auf reisenden Wellen basiert und durch eine kreisförmige Roll‑Operation die Query‑ und Key‑Tensoren verschiebt. Dadurch entsteht ein relativer Phasen‑Schift zwischen Positionen, sodass die Aufmerksamkeit als Funktion der Positionsdifferenz berechnet wird.