Neues Benchmark und ProStream: Effiziente Erinnerung für endlose Dialogströme

In realen Gesprächsabläufen fließen Informationen ununterbrochen weiter, sodass die zugrunde liegende Speicher‑Architektur stets innerhalb eines begrenzten Zustands bleiben muss. Traditionelle „Read‑then‑Think“-Ansätze sind dafür jedoch nicht geeignet, weil sie keine ad‑hoc‑Erinnerung während des laufenden Streams ermöglichen.

Um dieses Problem zu adressieren, wurde STEM‑Bench ins Leben gerufen – das erste Benchmark für Streaming‑Evaluation von Memory. Das Set umfasst über 14.000 Frage‑Antwort‑Paare, die die Wahrnehmungs‑Fidelity, die zeitliche Logik und das globale Bewusstsein unter den Bedingungen eines unendlichen Horizonts prüfen.

Eine erste Analyse von STEM‑Bench hat ein klares „Fidelity‑Efficiency‑Dilemma“ aufgezeigt: Retrieval‑basierte Modelle greifen nur auf fragmentäre Kontexte zurück, während Modelle, die den gesamten Kontext berücksichtigen, mit unendlicher Latenz kämpfen. Dieses Spannungsfeld muss für praktikable Systeme gelöst werden.

Als Lösung präsentiert das Team ProStream, ein proaktives, hierarchisches Speicher‑Framework für Streaming‑Dialoge. ProStream ermöglicht ad‑hoc‑Erinnerung auf Abruf, indem es kontinuierliche Streams mit mehrstufiger Distillation analysiert. Durch Adaptive Spatiotemporale Optimierung wird die Beibehaltung von Informationen dynamisch an deren erwarteten Nutzen angepasst, sodass ein begrenzter Wissenszustand mit niedriger Inferenzlatenz erreicht wird, ohne die Rechen‑Fidelity zu opfern. Experimentelle Ergebnisse zeigen, dass ProStream sowohl in Genauigkeit als auch in Effizienz die bisherigen Baselines übertrifft.