SLAY: Neue geometriebewusste lineare Spherical Attention mit Yat-Kernel

In einer bahnbrechenden Veröffentlichung präsentiert das Forschungsteam SLAY, eine neue Klasse linearer Attention-Mechanismen, die auf einer vereinfachten und recheneffizienten Formulierung des Yat-Kernels basieren. Durch die Einschränkung von Queries und Keys auf die Einheitskugel wird die Aufmerksamkeit ausschließlich von der Winkelausrichtung bestimmt, was die Interaktionen geometrisch fundiert macht.

Die Autoren nutzen den Bernstein-Satz, um den sphärischen Yat-Kernel als nichtnegative Mischung aus polynomisch-exponentiellen Produktkerneln darzustellen. Daraus folgt eine strikt positive Random-Feature-Approximation, die eine lineare Laufzeit von O(L) ermöglicht. Gleichzeitig wird die positive Definitheit und Beschränktheit auf der Kugel nachgewiesen, sodass die Attention-Werte stets definiert und nichtnegativ bleiben.

Experimentell erreicht SLAY Leistungen, die nahezu identisch mit der klassischen Softmax-Attention sind, während die lineare Zeit- und Speicherkomplexität erhalten bleibt. Im Vergleich zu bisherigen linearen Ansätzen wie Performers und Cosformers übertrifft SLAY konsequent die Performance. Damit stellt SLAY die bislang genaueste lineare Approximation der Softmax-Attention dar und eröffnet skalierbare Transformer-Modelle ohne typische Kompromisse bei der Genauigkeit.