KV-Cache-Management für LLMs: Speicher, Zeit, Genauigkeit & Positionsintegrität

Der Key‑Value‑Cache ist das Herzstück der effizienten autoregressiven Inferenz in großen Sprachmodellen. In mehrstufigen Dialogen wächst er jedoch unbegrenzt, was erhebliche Probleme mit sich bringt. Ein neues Papier untersucht, wie verschiedene Cache‑Management‑Strategien mit den architektonischen Grenzen von Modellen wie meta‑llama/Meta‑Llama‑3‑8b‑instruct und der Integrität der Positionskodierungen zusammenhängen.

Durch ein stateful Benchmarking‑Framework zeigt die Studie, dass die Qualität der Modellgenerierung stark abnimmt, sobald der akkumulierte KV‑Cache die vom Modell trainierte Kontextfenstergröße (z. B. 8192 Token bei Llama 3) erreicht oder überschreitet. Dieser Abfall ist ein eigenständiger Fehlerzustand, der sich von einer GPU‑Speichermangel‑Situation unterscheidet.

Häufig eingesetzte Eviction‑Strategien, selbst solche mit hoher Beibehaltung (bis zu 99 % via AttentionTop), können die Leistung verschlechtern, wenn sie die Positionskohärenz stören. Da LLMs auf konsistente Positionssignale wie RoPE angewiesen sind, führt das Entfernen nicht zusammenhängender Tokens dazu, dass diese Signale verwirrt werden und die Ausgaben degenerieren. Im Gegensatz dazu liefern einfache Ansätze, die zusammenhängende Kontextblöcke beibehalten – etwa ein initialer „Gist“ – deutlich kohärentere Ergebnisse.

Die Autoren fordern daher Eviction‑Methoden, die die architektonischen Grenzen respektieren, die Positionsstruktur bewahren und den „Cache‑Health“-Ansatz ganzheitlich betrachten, anstatt sich ausschließlich auf die Cache‑Größe zu konzentrieren. Diese Erkenntnisse bieten einen klaren Leitfaden für die Optimierung von LLM‑Inference in realen, mehrstufigen Anwendungsszenarien.