CommonKV: KV‑Cache effizient komprimieren via benachbarte Parameter

Large Language Models (LLMs) stehen vor einem erheblichen Speicherproblem: Mit zunehmender Sequenzlänge wächst der KV‑Cache exponentiell, was die Modellgröße stark belastet.

Aktuelle Ansätze zur Cross‑Layer‑Cache‑Sharing erfordern entweder eine Umgestaltung der Modellarchitektur mit anschließendem Pre‑Training oder führen bei hohen Kompressionsraten zu einem deutlichen Leistungsabfall.

CommonKV löst diese Probleme mit einer komplett trainingsfreien Technik. Durch die Nutzung benachbarter Parameter und die Anwendung der Singular Value Decomposition (SVD) wird eine gewichtete Teilung erreicht, die den KV‑Cache in eine leicht zusammenführbare latente Repräsentation überführt.

Ein zusätzliches Feature ist die adaptive Budget‑Allokation. Sie verteilt die Kompressionsressourcen dynamisch anhand der Kosinus‑Ähnlichkeit der Caches, sodass stark unterschiedliche Caches nicht übermäßig komprimiert werden.

Tests an verschiedenen Backbone‑Modellen und auf den Benchmarks LongBench sowie Ruler zeigen, dass CommonKV bei allen untersuchten Kompressionsquoten die bestehenden Low‑Rank‑ und Cross‑Layer‑Methoden übertrifft.

Die Vorteile von CommonKV ergänzen sich zudem mit anderen Quantisierungs‑ und Eviction‑Strategien. Durch die Kombination dieser Techniken lässt sich ein Kompressionsverhältnis von 98 % erreichen, ohne dass die Modellleistung merklich leidet.