Neues generatives Gedächtnis: GSW verbessert RAG um 20 %

Large Language Models (LLMs) stoßen bei der Verarbeitung langer Texte an ihre Grenzen: Die meisten Dokumente überschreiten die begrenzte Kontextfenstergröße, und die Leistung sinkt, sobald die Sequenzlänge wächst. Um dieses Problem zu lösen, greifen Forscher auf externe Gedächtnis‑Frameworks zurück.

Aktuelle Retrieval‑Ansätze, die von semantischen Einbettungen bis hin zu strukturierten Wissensgraphen reichen, konzentrieren sich vor allem auf faktenbasierte Abrufe. Sie schaffen jedoch keine narrativen, zeitlich und räumlich verankerten Darstellungen, die nötig sind, um Entitäten über episodische Ereignisse hinweg zu verfolgen.

Hier kommt das „Generative Semantic Workspace“ (GSW) ins Spiel – ein neuro‑inspiriertes, generatives Gedächtnis, das strukturierte, interpretierbare Modelle von sich wandelnden Situationen erzeugt. Der GSW besteht aus einem Operator, der Beobachtungen in semantische Strukturen überführt, und einem Reconciler, der diese Strukturen zu einem dauerhaften Workspace zusammenführt, der zeitliche, räumliche und logische Kohärenz sicherstellt.

In Tests auf dem Episodic Memory Benchmark (EpBench), der Datensätze von 100 000 bis 1 Million Tokens umfasst, übertrifft GSW bestehende RAG‑Baselines um bis zu 20 %. Gleichzeitig reduziert es die benötigten Kontext‑Tokens bei Anfragen um 51 % im Vergleich zum nächsten effizientesten Baseline, was die Inferenzkosten deutlich senkt.