Schnelle KV-Kompression durch Attention Matching

Die Skalierung von Sprachmodellen auf lange Kontexte wird häufig durch die Größe des Key‑Value‑Caches (KV‑Cache) begrenzt. In der Praxis werden lange Kontexte meist durch Token‑Kompression mittels Zusammenfassung reduziert, was jedoch oft zu erheblichen Informationsverlusten führt und die Leistung downstream‑Aufgaben beeinträchtigt.

Frühere Ansätze, wie die Cartridges‑Methode, haben gezeigt, dass kompakte KV‑Caches im latenten Raum trainiert werden können, die die volle Kontextleistung nahezu exakt reproduzieren. Diese Verfahren sind jedoch langsam und kostenintensiv, da sie eine end‑to‑end‑Optimierung erfordern.

Die neue Technik nutzt Attention Matching, um in kurzer Zeit kompakte Schlüssel und Werte zu erzeugen, die die Attention‑Ausgaben exakt nachbilden und die Attention‑Masse auf Ebene jedes KV‑Heads erhalten. Durch die Zerlegung des Problems in leicht lösbare Teilaufgaben, von denen einige sogar geschlossene Formeln besitzen, lässt sich die Kompression deutlich beschleunigen.

In der Praxis konnten die entwickelten Methoden die Kompressionseffizienz drastisch steigern: Auf ausgewählten Datensätzen wurde eine Kompression von bis zu 50‑facher Größe in wenigen Sekunden erreicht, ohne dass die Qualität der Modellantworten merklich leidet. Damit eröffnet sich ein neuer Ansatz, um lange Kontexte effizienter zu verarbeiten und gleichzeitig die Leistungsfähigkeit von Sprachmodellen zu erhalten.