SamKV reduziert KV-Cache‑Länge um 85 % und steigert Durchsatz in RAG
Große Sprachmodelle stehen vor enormen Kosten bei der Verarbeitung langer Sequenzen. Um die Effizienz zu erhöhen, wird häufig der historische Key‑Value‑Cache (KV‑Cache) wiederverwendet. Neuere Ansätze kombinieren diesen Cache mit sparsamen Aufmerksamkeitsmechanismen, die nur die relevantesten KV‑Einträge auswählen und damit die Sequenzlänge verkürzen. Diese Techniken funktionieren jedoch bislang nur bei ein‑Kontext‑Szenarien, in denen der KV‑Cache sequentiell mit kausaler Aufmerksamkeit berechnet wird.
In retrieval‑augmented‑generation‑Modellen (RAG) werden dagegen mehrere, vorher unbekannte Dokumente als Kontext verwendet. Jeder dieser Kontexte erhält einen eigenen KV‑Cache, der unabhängig berechnet und gespeichert wird. Das Fehlen von Cross‑Attention zwischen den Kontexten macht herkömmliche sparsante Methoden ineffizient, und bisherige Lösungen, die die KV‑Caches teilweise neu berechnen, erfordern die Speicherung aller Caches und reduzieren somit nicht die Speicherbelastung.
Die neue Arbeit präsentiert SamKV, die erste Untersuchung von Aufmerksamkeits‑Sparsifizierung für mehrere Kontexte. SamKV berücksichtigt bei der Auswahl sparsamer KV‑Einträge die ergänzenden Informationen anderer Kontexte und führt anschließend eine lokale Neuberechnung durch. Experimente zeigen, dass die Methode die Sequenzlänge um 85 % (auf 15 % des Originals) reduziert, ohne die Genauigkeit zu beeinträchtigen, und damit den Durchsatz in Multi‑Context‑RAG‑Szenarien deutlich steigert.