Neuer Benchmark Mem2ActBench prüft Langzeitgedächtnis bei KI-Agenten

Ein neues Benchmarking-Tool namens Mem2ActBench wurde vorgestellt, um die Fähigkeit von KI-Agenten zu messen, ihr Langzeitgedächtnis aktiv zu nutzen, wenn sie komplexe, toolbasierte Aufgaben ausführen. Im Gegensatz zu bisherigen Tests, die vor allem das passive Abrufen einzelner Fakten prüfen, bewertet Mem2ActBench, ob Agenten ihr Wissen gezielt einsetzen, um passende Werkzeuge auszuwählen und deren Parameter korrekt zu setzen.

Die Notwendigkeit dieses Benchmarks ergibt sich aus der wachsenden Nutzung von Large Language Model (LLM)-basierten Agenten in realen Anwendungen, bei denen Nutzer über lange, unterbrochene Interaktionen hinweg dieselben Themen ansprechen. In solchen Szenarien erwarten die Anwender, dass frühere Präferenzen und Zustände automatisch berücksichtigt werden – ein Aspekt, den bisherige Tests kaum abdecken.

Das Datenset wurde automatisiert aus drei heterogenen Quellen – ToolACE, BFCL und Oasst1 – zusammengestellt. Durch ein Konsistenzmodell werden Konflikte aufgelöst und 2.029 Sessions mit durchschnittlich 12 User‑Agent‑Tool‑Wechseln generiert. Aus diesen Memory‑Ketten wird mittels einer Reverse‑Generation-Methode ein Set von 400 Tool‑Verwendungsszenarien erstellt, von denen laut menschlicher Bewertung 91,3 % stark von Erinnerungen abhängen.

Bei Experimenten mit sieben verschiedenen Memory‑Frameworks zeigte sich, dass aktuelle Systeme noch weit davon entfernt sind, ihr Langzeitgedächtnis aktiv für die Parameter‑Grounding‑Aufgabe einzusetzen. Mem2ActBench liefert damit einen wichtigen Anreiz, neue Ansätze zu entwickeln, die die praktische Anwendung von Erinnerungen in KI-Agenten verbessern.