Online‑Vektorquantisierte Aufmerksamkeit: Effizienter als klassische Self‑Attention
Ein neues Verfahren namens Online‑Vector‑Quantized (OVQ) Attention wurde vorgestellt, das die Schwächen herkömmlicher Self‑Attention‑Modelle adressiert. Während Self‑Attention bei langen Kontexten hervorragende Ergebnis…