Neue Clifford-Algebra-Rotor-Embeddings revolutionieren Positionskodierung

Die neueste Forschung im Bereich der Positionskodierung von neuronalen Netzwerken präsentiert einen bedeutenden Fortschritt: Clifford-Algebra-Rotor-Embeddings (CARE) setzen neue Maßstäbe für die Präzision und Flexibilität von Rotary Positional Embeddings (RoPE).

RoPE hat sich bereits als äußerst leistungsfähig erwiesen, doch bei der Erweiterung auf höhere Dimensionen treten häufig nicht-kommutative Rotationen auf, die die entscheidende Shift‑Equivariance verlieren. Spherical RoPE, das versucht, Embedding‑Vektoren auf Kugeln statt Kreisen zu drehen, ist ebenfalls nicht-kommutativ und damit unklar, welche Rotationsreihenfolge gilt.

Die Autoren schlagen stattdessen einen Quaternion-basierten Ansatz vor – Quaternion Rotary Embeddings (QuatRo). Durch die Verwendung von Quaternionen, die 3‑D‑Rotationen exakt darstellen, lassen sich die Rotationsachsen eindeutig bestimmen. Dabei werden sowohl Mixed RoPE als auch Spherical RoPE als spezielle Fälle von QuatRo erkannt.

Der eigentliche Durchbruch liegt in der Generalisierung zu Clifford Algebraic Rotary Embeddings (CARE). Indem Quaternions als gerades Teilalgebra von Cl(3,0,0) betrachtet werden, wird die Idee der Rotations‑Embeddings auf Clifford‑Rotoren ausgeweitet, die auf Multivektoren aller Grade wirken können. CARE ermöglicht somit die Anwendung von Rotary Embeddings in beliebigen Dimensionen und die Einbettung von Positionsinformationen in Multivektoren, nicht nur in Vektoren.

Preliminary experiments zeigen, dass Clifford-basierte Embeddings die Leistung von Spherical und Quaternion Varianten übertreffen, was CARE als vielversprechende Richtung für zukünftige Positionkodierungen in großen Modellen positioniert.