KV-Cache-Recycling: Mehr Kontext für kleine LLMs ohne Modelländerungen

In einer neuen Studie wurde gezeigt, dass die Wiederverwendung von Key‑Value‑Caches (KV‑Caches) die nutzbare Kontextgröße bei kleinen Sprachmodellen erheblich steigern kann, ohne dass das Modell selbst angepasst werden muss.

Die Forscher nutzten das 345‑Mio‑Parameter‑Modell DialoGPT‑medium, das auf 147 Mio Reddit‑Austauschen trainiert wurde. Sie bauten einen Cache aus vergangenen Aktivierungen und suchten nach passenden Einträgen über Satz‑Embeddings. Wenn ein neuer Prompt exakt mit einem im Cache gespeicherten Präfix übereinstimmte, wurden die zuvor berechneten KV‑Werte wiederverwendet, sodass die Dekodierung ab diesem Punkt fortgesetzt werden konnte.

Die Experimente zeigten, dass bei vorhandener Präfix‑Übereinstimmung die Inferenzzeit deutlich reduziert wurde, während die Qualität der generierten Texte unverändert blieb. Fehlt die Übereinstimmung, verhielt sich das Modell identisch zum Baseline‑Setup. Somit liefert das Verfahren eine robuste Möglichkeit, die Effizienz von Low‑Parameter‑LLMs zu erhöhen.

Ein weiterer Vorteil ist die einfache Reproduzierbarkeit: Der KV‑Cache wird ohne Modelländerungen auf der CPU serialisiert, anschließend wieder geladen und direkt an die Generierungsfunktion übergeben. Dadurch können Entwickler die Technik leicht in bestehende Pipelines integrieren.