KV-Cache-Recycling: Mehr Kontext für kleine LLMs ohne Modelländerungen
In einer neuen Studie wurde gezeigt, dass die Wiederverwendung von Key‑Value‑Caches (KV‑Caches) die nutzbare Kontextgröße bei kleinen Sprachmodellen erheblich steigern kann, ohne dass das Modell selbst angepasst werden…