MEMENTO: KI lernt, eigene Kontextblöcke zu komprimieren und zu nutzen

In einer bahnbrechenden Veröffentlichung präsentiert das Forschungsteam die Methode MEMENTO, die große Sprachmodelle dazu befähigt, ihre eigenen Rechenabläufe in überschaubare Blöcke zu gliedern und diese kompakt als „Mementos“ zu speichern. Durch die Fokussierung auf diese Zusammenfassungen reduziert das Modell nicht nur den Speicherbedarf, sondern spart auch erheblich Rechenleistung.

Zur Schulung von MEMENTO wurde das OpenMementos‑Dataset veröffentlicht – ein öffentliches Korpus mit 228 000 Rechenpfaden, die aus OpenThoughts‑v3 extrahiert, segmentiert und mit Zwischensummaries versehen wurden. Ein zweistufiges Supervised Fine‑Tuning (SFT) auf diesem Datensatz erwies sich als universell einsetzbar, sowohl bei Modellen wie Qwen3, Phi‑4 als auch Olmo 3, und bei Größen von 8 B bis 32 B Parametern.

Die Ergebnisse sind beeindruckend: Die trainierten Modelle behalten ihre Spitzenleistung bei Mathematik-, Wissenschafts- und Programmieraufgaben bei, während die Spitzenkapazität des KV‑Caches um etwa 2,5‑fach reduziert wird. Durch die Erweiterung von vLLM zur Unterstützung der MEMENTO‑Inference konnten die Durchsatzraten um rund 1,75‑fach gesteigert werden, und zusätzlich ermöglicht dies die Durchführung von Reinforcement‑Learning‑Schleifen, die die Genauigkeit weiter erhöhen.

Ein weiteres Highlight der Studie ist die Entdeckung eines dualen Informationsstroms: Jede Rechenblock‑Information wird sowohl im Memento‑Text als auch in den zugehörigen KV‑Zuständen transportiert. Das Entfernen des KV‑Kanals führt zu einem Genauigkeitsverlust von 15 Prozentpunkten bei der AIME24‑Aufgabe, was die Bedeutung beider Kanäle unterstreicht.