LifeBench: Neuer Benchmark für Langzeit‑Memory mit Multi‑Source‑Ansatz

Die Forschungsgruppe hat LifeBench vorgestellt, einen neuen Benchmark, der die Leistungsfähigkeit von KI‑Agenten im Bereich des Langzeit‑Memos testet. Im Fokus steht dabei die Fähigkeit, Wissen über lange Zeiträume hinweg zu speichern, zu verknüpfen und daraus Schlüsse zu ziehen.

Derzeit konzentrieren sich die meisten Benchmarks ausschließlich auf deklaratives Wissen – also Fakten und Ereignisse, die explizit in Dialogen präsentiert werden. LifeBench geht einen Schritt weiter, indem es auch nicht‑deklaratives Wissen einbezieht, etwa Gewohnheiten und prozedurale Abläufe, die aus vielfältigen digitalen Spuren abgeleitet werden müssen.

Der Benchmark nutzt eine dicht vernetzte, langzeitige Ereignissimulation, die Agenten dazu zwingt, deklaratives und nicht‑deklaratives Wissen zu kombinieren. Durch die Einbindung von realen Datenquellen wie anonymisierten Umfragen, Karten‑APIs und Feiertagskalendern wird die Authentizität und Vielfalt der Szenarien sichergestellt.

Zur Skalierbarkeit orientiert sich LifeBench an Erkenntnissen der Kognitionswissenschaft. Ereignisse werden nach einer partonomischen Hierarchie strukturiert, was eine effiziente Parallelgenerierung ermöglicht, ohne die globale Kohärenz zu verlieren.

Die ersten Tests zeigen, dass selbst führende Memory‑Systeme nur 55,2 % der Aufgaben korrekt lösen können – ein deutliches Signal für die Komplexität von Langzeit‑Retrieval und Multi‑Source‑Integration.

Das komplette Datenset sowie der Code zur Datengenerierung sind öffentlich zugänglich, sodass die Community sofort mit der Entwicklung neuer, leistungsfähiger Modelle beginnen kann.