TRIM‑KV: Intelligente Token‑Retention verbessert LLM‑Speicherleistung

In der Welt der großen Sprachmodelle (LLMs) stellen Speicher- und Rechenkosten die größten Hindernisse für lange Kontextverarbeitung dar. Der quadratische Aufwand der Selbstaufmerksamkeit und die stetig wachsende Key‑Value‑Cache (KV‑Cache) erschweren effiziente Inferenz. Traditionelle Ansätze wie Quantisierung, Offloading oder heuristische Cache‑Eviction führen zu hohen Orchestrationskosten oder verlassen sich auf unzuverlässige Aufmerksamkeitssignale.

TRIM‑KV ist ein neuer Ansatz, der die Wichtigkeit jedes Tokens bereits bei seiner Erzeugung ermittelt. Ein leichtgewichtiges „Retention‑Gate“ weist jedem Token einen Skalarwert zu, der im Zeitverlauf abnimmt und die langfristige Nützlichkeit für eine bestimmte Schicht und einen bestimmten Kopf widerspiegelt. Tokens mit niedrigen Scores werden evakuiert, sobald das Speicherbudget überschritten wird, sodass der Cache stets die wichtigsten Informationen enthält.

Die Methode wird effizient durch Distillation aus einem eingefrorenen LLM trainiert, ergänzt durch einen Kapazitätsverlust. Dabei muss lediglich das Gate feinjustiert werden, was die Inferenzzeit kaum erhöht. Auf einer Vielzahl von Aufgaben – von mathematischem Problemlösen (GSM8K, MATH‑500, AIME24) über prozedurale Generierung (LongProc) bis hin zu Konversations‑ und Kontextverständnis (LongMemEval, LongBench, SCBench) – übertrifft TRIM‑KV bestehende Eviction‑ und Retrieval‑Baselines, insbesondere bei begrenztem Speicher. In einigen Szenarien übertrifft es sogar Modelle mit vollem Cache, was zeigt, dass selektive Retention als Regularisierung wirkt und Rauschen aus uninformativen Tokens unterdrückt.

Qualitative Analysen deuten darauf hin, dass die erlernten Retention‑Scores mit menschlicher Intuition übereinstimmen, was die Transparenz und Interpretierbarkeit des Modells weiter stärkt. TRIM‑KV eröffnet damit einen vielversprechenden Weg, LLM‑Inference in speicherbeschränkten Umgebungen effizienter und robuster zu gestalten.