Neue Methode entschlüsselt semantische Struktur von KV-Caches in LLMs

In einem aktuellen Beitrag auf arXiv wird ein neues Verfahren vorgestellt, das die bislang als undurchsichtig betrachtete Key‑Value‑Cache‑Speicherstruktur großer Sprachmodelle aufschlüsselt. Der Ansatz, genannt STA‑Attention, nutzt Top‑K‑Sparse‑Autoencoder, um die Cache‑Daten in leicht interpretierbare „semantische Atome“ zu zerlegen.

Im Gegensatz zu herkömmlichen L1‑regularisierten Autoencodern verzichtet STA‑Attention auf Shrinkage‑Bias und bewahrt damit die exakte Dot‑Product‑Geometrie, die für die Attention‑Mechanismen entscheidend ist. Durch diese Technik lassen sich die Schlüssel‑ und Wertevektoren differenzieren: Schlüssel wirken als hochgradig sparse Router, die von einem „Semantic Elbow“ dominiert werden, während die Werte dichte Inhaltsvektoren darstellen, die einen größeren Speicherbedarf erfordern.

Auf Basis dieser Erkenntnis wird eine Dual‑Budget‑Strategie entwickelt, die die wichtigsten semantischen Komponenten beibehält und gleichzeitig Rausch‑ bzw. Redundanz‑Informationen filtert. Dadurch wird die Cache‑Effizienz gesteigert, ohne die Modellleistung zu beeinträchtigen.

Experimentelle Tests an Modellen wie Yi‑6B, Mistral‑7B und Qwen2.5‑32B zeigen, dass die semantisch rekonstruierten Caches die Perplexität und die Zero‑Shot‑Leistung der Originalmodelle nahezu identisch halten. Damit bietet die Methode einen wichtigen Schritt, mechanistische Interpretierbarkeit mit treuer Attention‑Modellierung zu verbinden.