Grenzen des lernbasierten Wichtigkeitswerts für KV-Cache-Kompression

In einer neuen Untersuchung wurde ein lernbasiertes Verfahren namens Speculative Importance Prediction (SIP) vorgestellt, das versucht, die Wichtigkeit einzelner Tokens im KV‑Cache vorherzusagen, um Speicherplatz effizienter zu nutzen. SIP nutzt 1,7 Millionen Parameter und arbeitet ohne Kenntnis der aktuellen Anfrage, indem es nur die KV‑Repräsentationen analysiert.

Die Autoren testeten SIP an fünf verschiedenen Zufallsinitialisierungen, vier unterschiedlichen Behaltensstufen und drei Aufgaben. Trotz einer komplexen Architektur mit mehrhorizontaler Vorhersage und Querverbindungen konnte SIP die Leistung nicht übertreffen – sogar einfache Baselines wie zufällige Auswahl lieferten vergleichbare Ergebnisse.

Die wichtigsten Erkenntnisse sind: (1) Positionale Heuristiken – z. B. die ersten vier und die letzten N Tokens beibehalten – schneiden genauso gut oder besser ab; (2) Die Vorab‑Attention liefert dieselbe Informationsmenge wie die aufwändigen Lernmodelle; (3) Die zusätzlichen Informationen in den KV‑Repräsentationen scheinen begrenzt zu sein. Die Autoren vermuten, dass die wechselseitige Abhängigkeit zwischen zukünftigen Anfragen und generierten Texten die Schwierigkeit erklärt.