Neues Modell Palimpsa erweitert Gedächtnisleistung von Attention‑Netzwerken

In-Context Learning (ICL) in Transformer‑Modellen fungiert als Online‑Assoziativspeicher und gilt als Schlüssel zu ihrer hohen Leistungsfähigkeit bei komplexen Sequenzaufgaben. Bei sogenannten gated linear attention‑Modellen ist dieser Speicher jedoch auf eine feste Kapazität beschränkt und neigt bei langen Sequenzen zu Interferenzen.

Das neue Modell Palimpsa betrachtet ICL als Problem des kontinuierlichen Lernens und adressiert damit das klassische Stabilitäts‑Plastizitäts‑Dilemma. Durch Bayesianische Metaplasticität wird die Plastizität jedes Aufmerksamkeitszustands an einen Wichtigkeitszustand gekoppelt, der auf einer Priorverteilung basiert, die das angesammelte Wissen widerspiegelt.

Die Autoren zeigen, dass verschiedene gated linear attention‑Architekturen lediglich spezielle Ausprägungen und Posterior‑Annäherungen sind. Mamba2 stellt dabei einen Sonderfall dar, in dem das Vergessen dominiert. Diese theoretische Verbindung ermöglicht es, jedes nicht‑metaplastische Modell in ein metaplastisches umzuwandeln und damit die Speicher­kapazität erheblich zu erhöhen.

Experimentelle Ergebnisse belegen, dass Palimpsa die Basis‑Modelle auf dem Multi‑Query Associative Recall (MQAR) Benchmark sowie auf Aufgaben des Commonsense Reasoning konsequent übertrifft.