Adaptive Soft Rolling KV Freeze: Entropie-gesteuerte Wiederherstellung für LLMs

Ein neues, trainingsfreies Verfahren zur effizienten Textgenerierung bei großen Sprachmodellen wurde vorgestellt. Die Methode, genannt Adaptive Soft Rolling KV Freeze mit Entropie-gesteuerter Wiederherstellung (ASR‑KF‑EGR), pausiert vorübergehend die Aktualisierung von Schlüssel‑Wert‑Paaren (KV) für Tokens, die innerhalb eines gleitenden Aufmerksamkeitsfensters als wenig wichtig eingestuft werden. Dadurch bleibt das komplette Kontext‑Spektrum erhalten, während nur ein kleiner Teil aktiv im Speicher gehalten wird.

ASR‑KF‑EGR nutzt einen reversiblen Soft‑Freeze‑Mechanismus, der Tokens in den Off‑GPU‑Speicher verschiebt und bei Bedarf wiederherstellt. Im Gegensatz zu herkömmlichen Eviction‑Ansätzen, die Tokens dauerhaft verwerfen, garantiert die Methode, dass keine Informationen verloren gehen. Durch ein sublineares Freeze‑Scheduling wächst die Dauer des Freezes nicht proportional zu wiederholten Low‑Importance‑Erkennungen, wodurch eine zu starke Kompression vermieden wird.

Erste Tests mit dem LLaMA‑3 8B Modell zeigen, dass die aktive KV‑Cache-Größe um 55 % bis 67 % reduziert werden kann, ohne die Qualität der generierten Texte zu beeinträchtigen. Die Methode ist architekturunabhängig, erfordert keine Feinabstimmung und bietet damit eine praktikable Lösung für den Einsatz von LLMs mit langen Kontexten in speicherbeschränkten Umgebungen.