Neues Modell Palimpsa erweitert Gedächtnisleistung von Attention‑Netzwerken
In-Context Learning (ICL) in Transformer‑Modellen fungiert als Online‑Assoziativspeicher und gilt als Schlüssel zu ihrer hohen Leistungsfähigkeit bei komplexen Sequenzaufgaben. Bei sogenannten gated linear attention‑Mod…