Sliced ReLU Attention: Quasi-lineare Kontext-Expressivität durch Sortieren

Ein neues Attention‑Modell namens Sliced ReLU Attention wurde vorgestellt, das sich strukturell von Softmax‑ und herkömmlichen ReLU‑Alternativen unterscheidet. Anstatt eine Nichtlinearität auf die paarweisen Skalarprodukte anzuwenden, arbeitet das Verfahren mit eindimensionalen Projektionen der Differenzen zwischen Schlüssel- und Abfragevektoren und nutzt dabei Sortieren, um die Komplexität quasi-linear zu halten.

Dank der Sortier‑Schritt‑O(n log n) kann das Modell sehr lange Kontexte effizient verarbeiten, ohne die Rechenzeit exponentiell zu erhöhen. Diese Eigenschaft macht es besonders attraktiv für Anwendungen, bei denen große Sequenzen anfallen.

Darüber hinaus bewahrt Sliced ReLU Attention die starke theoretische Ausdruckskraft, die bisher nur bei Softmax‑Attention bekannt war. Es wurde gezeigt, dass das Modell komplexe Sequenz‑zu‑Sequenz‑Entanglement‑Aufgaben lösen kann und die universelle Approximation von Kontextinformationen erfüllt. Erste kleine Experimente deuten darauf hin, dass das neue Kernel auch in praktischen Szenarien vielversprechend sein könnte.