Agent mit Mehrfach‑Memory‑System verbessert Langzeitgedächtnis von LLMs

Ein Agent, der auf großen Sprachmodellen basiert, hat bereits beeindruckende Ergebnisse erzielt. Das große Problem bleibt jedoch die effiziente Nutzung der riesigen Menge an historischen Daten, die während der Interaktionen entstehen. Traditionelle Ansätze bauen dafür ein Memory‑Modul ein, doch bestehende Lösungen wie MemoryBank und A‑MEM speichern Inhalte von schlechter Qualität, was die Abrufleistung und die Qualität der Antworten beeinträchtigt.

Um ein hochwertiges Langzeitgedächtnis aufzubauen, haben wir ein Mehrfach‑Memory‑System (MMS) entwickelt, das sich an Theorien der kognitiven Psychologie orientiert. Das System verarbeitet Kurzzeitgedächtnis‑Einträge in mehrere Langzeit‑Fragment‑Einheiten und erstellt daraus zwei Arten von Speicher‑Einheiten: Abruf‑Einheiten und kontextuelle Einheiten. Jede Abruf‑Einheit hat genau eine zugehörige kontextuelle Einheit.

Im Abrufprozess sucht das MMS die am besten passenden Abruf‑Einheiten anhand der Nutzeranfrage. Anschließend werden die entsprechenden kontextuellen Einheiten als Kontext für die Antwortphase bereitgestellt, wodurch das Wissen gezielt erweitert und die historische Datenbasis effektiv genutzt wird.

Durch Experimente auf dem LoCoMo‑Datensatz konnten wir die Wirksamkeit unseres Ansatzes im Vergleich zu drei anderen Methoden eindeutig nachweisen. Ablationsstudien bestätigten die Sinnhaftigkeit der einzelnen Speicher‑Einheiten. Zusätzlich haben wir die Robustheit hinsichtlich der Anzahl ausgewählter Speicher‑Segmente sowie die Speicher‑Überschussanalyse durchgeführt, die die praktische Anwendbarkeit des Systems unterstreichen.