Online‑Vektorquantisierte Aufmerksamkeit: Effizienter als klassische Self‑Attention

Ein neues Verfahren namens Online‑Vector‑Quantized (OVQ) Attention wurde vorgestellt, das die Schwächen herkömmlicher Self‑Attention‑Modelle adressiert. Während Self‑Attention bei langen Kontexten hervorragende Ergebnisse liefert, ist es mit quadratischer Rechenkomplexität und linearem Speicherbedarf sehr ressourcenintensiv. Im Gegensatz dazu nutzen lineare Attention‑Methoden und State‑Space‑Modelle (SSMs) nur lineare Rechenkosten und konstanten Speicher, haben jedoch Schwierigkeiten bei der Verarbeitung sehr langer Sequenzen.

OVQ Attention kombiniert das Beste aus beiden Welten: Es arbeitet mit linearer Rechenkomplexität und konstantem Speicher, nutzt aber eine spärliche Speicher‑Update‑Strategie, die die Größe des Speicherzustands erheblich erhöht. Dadurch kann das Modell eine viel größere Kontextgröße verarbeiten, ohne die Speicheranforderungen drastisch zu steigern. Die theoretische Grundlage des Ansatzes basiert auf Gaußscher Mischungsregression.

In umfangreichen Tests auf synthetischen Langzeit‑Kontextaufgaben sowie in der Sprachmodellierung mit Sequenzen bis zu 64 000 Tokens zeigte OVQ Attention signifikante Verbesserungen gegenüber linearen Attention‑Baselines und dem ursprünglichen VQ‑Attention. Es erreicht dabei eine Leistung, die mit starken Self‑Attention‑Modellen vergleichbar oder sogar identisch ist, während es nur einen Bruchteil des Speichers von vollständiger Self‑Attention benötigt.