AllMem: Speicherzentrierte Architektur für effizientes Langkontext-Modeling

Die neuesten Fortschritte im Bereich der großen Sprachmodelle (LLMs) zeigen, dass die klassische Self‑Attention‑Methode bei langen Sequenzen erhebliche Engpässe verursacht – sowohl in der Rechenleistung als auch im Speicherbedarf. Mit der neuen AllMem‑Architektur wird dieses Problem angegangen, indem Sliding Window Attention (SWA) mit nichtlinearen Test‑Time‑Training‑Memory‑Netzwerken kombiniert wird.

AllMem ermöglicht es Modellen, sich an extrem lange Kontexte anzupassen, ohne dabei die Gefahr des katastrophalen Vergessens einzugehen. Durch die Integration von SWA wird die Rechenkomplexität drastisch reduziert, während die Speicher‑Effizienz durch die Memory‑Augmented‑Sliding‑Window‑Layer gesteigert wird. Gleichzeitig bleibt die Modellleistung nahezu unverändert, da die Architektur die wichtigsten Kontextinformationen bewahrt.

Ein weiteres Highlight ist die Memory‑Efficient Fine‑Tuning‑Strategie, die es erlaubt, beliebige vortrainierte LLMs in AllMem‑basierte Modelle zu transformieren. Dabei werden die Standard‑Attention‑Schichten durch die neuen, speicheroptimierten Sliding‑Window‑Layer ersetzt, was die Implementierung vereinfacht und die Skalierbarkeit erhöht.

Die experimentellen Ergebnisse sprechen für sich: Ein 4‑k‑Fenster‑Modell erzielt auf dem LongBench‑Datensatz mit 37 k Tokens nahezu verlustfreie Leistungen, mit lediglich 0,83 % schlechter als bei voller Attention. Auf InfiniteBench bei einem Kontext von 128 k Tokens übertrifft die 8‑k‑Fenster‑Variante sogar die volle Attention, was die Wirksamkeit der parametrisierten Memory‑Netzwerke bei der Reduktion von Rauschen und der Aufrechterhaltung robuster Langzeitmodellierung unterstreicht.