Neue Forschung: Fakten als First-Class-Objekte verbessern LLM-Erinnerung

In einer aktuellen Studie von arXiv wird gezeigt, dass große Sprachmodelle (LLMs) zunehmend als dauerhafte Wissensarbeiter eingesetzt werden. Dabei wird die Standardstrategie der in‑Kontext‑Speicherung – Fakten im Prompt ablegen – mit sogenannten Knowledge Objects (KOs) verglichen, die als diskrete, hash‑adressierte Tupel mit O(1)-Abruf fungieren.

Innerhalb des Kontextfensters erzielt das Modell Claude Sonnet 4.5 eine 100 %ige Trefferquote bei exakt passenden Fakten von 10 bis 7 000 Einträgen, was 97,5 % seines 200 000‑Token‑Fensters ausmacht. In der Praxis treten jedoch drei kritische Fehlerquellen auf: Kapazitätsgrenzen (Prompts überlaufen bei 8 000 Fakten), Kompressionsverluste (Zusammenfassungen zerstören 60 % der Fakten) und Zielabweichungen (kaskadierende Kompression reduziert 54 % der Projektvorgaben, während das Modell weiterhin zuversichtlich bleibt).

Im Gegensatz dazu erreichen KOs unter allen Bedingungen eine 100 %ige Genauigkeit und sind dabei 252‑mal günstiger. Bei mehrstufigen Schlussfolgerungen liegen die Erfolgsraten bei 78,9 % für KOs im Vergleich zu 31,6 % für die reine In‑Kontext‑Speicherung. Die Ergebnisse wurden über vier führende Modelle hinweg repliziert, was bestätigt, dass die Kompressionsverluste architektonisch bedingt sind und nicht modellabhängig.

Weiterhin wird gezeigt, dass die klassische Einbettungs‑Retrieval-Methode bei feindlichen Fakten nur 20 % Präzision bei der ersten Trefferposition liefert und dass neuronale Speicherlösungen wie Titans zwar Fakten speichern, aber nicht zuverlässig abrufen können. Als Lösung wird ein dichte‑adaptiver Abrufmechanismus vorgestellt, der zwischen den beiden Ansätzen wechselt, und ein umfassendes Benchmark‑Set veröffentlicht.