Forschung
Sliced ReLU Attention: Quasi-lineare Kontext-Expressivität durch Sortieren
Ein neues Attention‑Modell namens Sliced ReLU Attention wurde vorgestellt, das sich strukturell von Softmax‑ und herkömmlichen ReLU‑Alterna…
arXiv – cs.LG