Neue Methode entschlüsselt semantische Struktur von KV-Caches in LLMs
In einem aktuellen Beitrag auf arXiv wird ein neues Verfahren vorgestellt, das die bislang als undurchsichtig betrachtete Key‑Value‑Cache‑Speicherstruktur großer Sprachmodelle aufschlüsselt. Der Ansatz, genannt STA‑Atte…