Forschung
KV-Cache-Recycling: Mehr Kontext für kleine LLMs ohne Modelländerungen
In einer neuen Studie wurde gezeigt, dass die Wiederverwendung von Key‑Value‑Caches (KV‑Caches) die nutzbare Kontextgröße bei kleinen Sprac…
arXiv – cs.LG