CHESS: Effiziente, kontextbewusste KV-Cache-Optimierung für LLMs

Ein neues arXiv-Papier (2602.20732v1) präsentiert CHESS, ein innovatives System zur Verwaltung des KV-Caches bei großen Sprachmodellen mit langen Kontexten. CHESS kombiniert algorithmische und systemische Ansätze, um die Effizienz bei der Inferenz zu steigern.

Bei LLMs mit umfangreichem Kontext wird die Decodierung zunehmend durch den KV-Cache limitiert. Frühere Pruning-Methoden berücksichtigen die Relevanz einzelner Tokens nicht Schritt für Schritt und ignorieren lokale Semantik, was die Qualität beeinträchtigt. Zudem führen unregelmäßige Zugriffe und Auswahlüberkopf zu begrenzten Echtzeit-Verbesserungen.

CHESS löst diese Probleme, indem es eine kontextbewusste, hierarchische Auswahlstrategie einführt, die den aktuellen Kontext dynamisch rekonstruieren kann. Durch die Auswahl auf grober Granularität werden teure Datenbewegungen vermieden, sodass die theoretische Sparsität praktisch umgesetzt wird.

Ausführliche Tests zeigen, dass CHESS die Qualität des Full-KV-Ansatzes mit nur 1 % des KV-Caches übertrifft, stabile Inferenz bei niedriger Latenz ermöglicht und die Durchsatzrate um bis zu 4,56‑fach steigert. Das System übertrifft konsequent andere starke Baselines. Der Quellcode ist unter https://anonymous.4open.science/r/CHESS-9958/ verfügbar.