NVIDIA AI stellt KVzap vor: 2‑4‑fach komprimierter KV‑Cache ohne Qualitätsverlust

NVIDIA AI hat ein neues Tool namens KVzap veröffentlicht, das den Schlüssel‑Wert‑Cache (KV‑Cache) von Transformer‑Dekodern drastisch reduziert. Durch die zunehmende Länge von Kontexten – mittlerweile oft in Zehntausenden oder Hunderttausenden von Tokens – wird der KV‑Cache zu einem entscheidenden Engpass bei der Bereitstellung großer Sprachmodelle.

KVzap nutzt eine fortschrittliche Pruning‑Methode, die den Cache nahezu verlustfrei um das Zwei‑ bis Vierfach reduziert. Das bedeutet, dass die Speicher‑ und Rechenkosten für Modelle wie Llama1‑65B, dessen KV‑Cache bei etwa 335 GB liegt, erheblich gesenkt werden können, ohne die Qualität der Ausgabe zu beeinträchtigen.

Durch die Anwendung von KVzap können Entwickler Modelle mit deutlich längeren Kontexten einsetzen, ohne dass die Hardware‑Beschränkungen zu stark einschränken. Das eröffnet neue Möglichkeiten für Anwendungen, die auf umfangreiche Textanalysen oder lange Dialoge angewiesen sind.

Das Tool ist als Open‑Source-Projekt verfügbar und kann direkt von NVIDIA auf GitHub heruntergeladen werden. Damit stellt NVIDIA einen wichtigen Beitrag zur Skalierbarkeit von KI‑Modellen bereit und erleichtert die Integration großer Sprachmodelle in produktive Systeme.