VehicleMemBench: Neuer Benchmark für Langzeit‑Speicher von Fahrzeugagenten

Mit der steigenden Nachfrage nach intelligenten Fahrzeuginhalten wandeln sich fahrzeugbasierte Agenten von einfachen Assistenten zu langfristigen Begleitern. Dafür müssen die Systeme kontinuierlich die Präferenzen mehrerer Nutzer erfassen und verlässliche Entscheidungen treffen, selbst wenn sich Vorlieben ändern oder Konflikte zwischen Nutzern entstehen.

Aktuelle Benchmarks beschränken sich meist auf ein‑Nutzer‑Szenarien mit statischen Frage‑Antwort‑Aufgaben und können die zeitliche Entwicklung von Präferenzen sowie die Interaktion mit Werkzeugen in realen Fahrzeugumgebungen nicht abbilden.

VehicleMemBench löst dieses Problem, indem es einen mehr‑Nutzer‑Benchmark mit langem Kontext in einer ausführbaren Fahrzeugsimulationsumgebung bereitstellt. Die Bewertung erfolgt objektiv, indem der Zustand der Umgebung nach einer Aktion mit einem vordefinierten Zielzustand verglichen wird – ohne LLM‑ oder menschliche Bewertung.

Der Benchmark umfasst 23 Tool‑Module und jedes Beispiel enthält über 80 historische Speicher‑Ereignisse, was die Komplexität realer Fahrzeugszenarien widerspiegelt.

Experimentelle Ergebnisse zeigen, dass leistungsstarke Modelle bei direkten Instruktionsaufgaben gut abschneiden, jedoch bei Szenarien mit sich wandelnden Nutzerpräferenzen und domänenspezifischen Speicheranforderungen deutlich schwächer sind. Diese Erkenntnisse unterstreichen die Notwendigkeit robuster, spezialisierter Speicher‑Management‑Mechanismen für langfristige, adaptive Entscheidungen in Fahrzeugagenten.

Zur Förderung weiterer Forschung werden die Daten und der Code öffentlich zugänglich gemacht.