Neues Multi-Agent-System optimiert Langzeitgedächtnis von LLMs

Ein neues Forschungsprojekt namens MemMA präsentiert ein Multi-Agenten-Framework, das die Verwaltung von externen Gedächtnisbanken in großen Sprachmodellen (LLMs) neu gestaltet. Traditionell werden die Schritte zum Erstellen, Abrufen und Nutzen von Speicherinhalten als getrennte Prozesse behandelt, was zu zwei Hauptproblemen führt: Erstens fehlt es an strategischer Planung beim Aufbau und Abruf von Informationen, da lokale Heuristiken anstelle von gezieltem Denken eingesetzt werden. Zweitens erhalten Fehler im Speicher selten direkte Rückmeldungen, wodurch die Korrektur von Speicherfehlern verzögert oder gar nicht erfolgt.

MemMA löst diese Herausforderungen, indem es die gesamte Gedächtnis‑Schleife – sowohl vorwärts als auch rückwärts – koordiniert. Auf der Vorwärtsseite steuert ein Meta‑Thinker einen Memory Manager beim Aufbau des Speichers und einen Query Reasoner bei iterativen Abrufen. Auf der Rückwärtsseite führt MemMA eine selbstentwickelnde Speicherkonstruktion ein, die gezielt Probe‑Frage‑Antwort‑Paare generiert, den aktuellen Speicher überprüft und Fehler in Reparaturmaßnahmen umwandelt, bevor der Speicher finalisiert wird.

Umfangreiche Tests auf der LoCoMo-Plattform zeigen, dass MemMA bestehende Baselines übertrifft, unabhängig vom zugrunde liegenden LLM. Zudem verbessert es drei verschiedene Speicher‑Backends in einer Plug‑and‑Play‑Umgebung. Der komplette Code ist öffentlich auf GitHub verfügbar.