NVIDIA AI stellt KVzap vor: 2‑4‑fach komprimierter KV‑Cache ohne Qualitätsverlust
NVIDIA AI hat ein neues Tool namens KVzap veröffentlicht, das den Schlüssel‑Wert‑Cache (KV‑Cache) von Transformer‑Dekodern drastisch reduziert. Durch die zunehmende Länge von Kontexten – mittlerweile oft in Zehntausende…