Online‑Vektorquantisierte Aufmerksamkeit: Effizienter als klassische Self‑Attention
Ein neues Verfahren namens Online‑Vector‑Quantized (OVQ) Attention wurde vorgestellt, das die Schwächen herkömmlicher Self‑Attention‑Modelle adressiert. Während Self‑Attention bei langen Kontexten hervorragende Ergebnisse liefert, ist es mit quadratischer Rechenkomplexität und linearem Speicherbedarf sehr ressourcenintensiv. Im Gegensatz dazu nutzen lineare Attention‑Methoden und State‑Space‑Modelle (SSMs) nur lineare Rechenkosten und konstanten Speicher, haben jedoch Schwierigkeiten bei der Verarbeitung sehr langer Sequenzen.
