SamKV reduziert KV-Cache‑Länge um 85 % und steigert Durchsatz in RAG
Große Sprachmodelle stehen vor enormen Kosten bei der Verarbeitung langer Sequenzen. Um die Effizienz zu erhöhen, wird häufig der historische Key‑Value‑Cache (KV‑Cache) wiederverwendet. Neuere Ansätze kombinieren diesen Cache mit sparsamen Aufmerksamkeitsmechanismen, die nur die relevantesten KV‑Einträge auswählen und damit die Sequenzlänge verkürzen. Diese Techniken funktionieren jedoch bislang nur bei ein‑Kontext‑Szenarien, in denen der KV‑Cache sequentiell mit kausaler Aufmerksamkeit berechnet wird.
