Randomisierung verbessert KV-Caching: Lernbasierte Lastverteilung für LLMs

In einer neuen Studie aus dem arXiv-Preprint arXiv:2601.18999v1 wird gezeigt, wie Randomisierung die Effizienz von KV‑Caching für Large Language Models (LLMs) deutlich steigern kann. KV‑Caching nutzt zuvor berechnete Schlüssel‑Wert‑Paare, um die Inferenzzeit zu verkürzen, doch die Leistung hängt stark von der Eviction‑Strategie ab. Der Standard‑LRU‑Algorithmus hat bei dynamischen Online‑Anfragen, insbesondere in Multi‑LLM‑Serving‑Umgebungen, Schwierigkeiten, die Last gleichmäßig zu verteilen und gleichzeitig die Cache‑Hit‑Rate zu maximieren.

Die Autoren präsentieren das erste einheitliche mathematische Modell, das die wesentlichen Trade‑Offs zwischen KV‑Cache‑Eviction und Query‑Routing erfasst. Durch die Kombination von proviert kompetenter, randomisierter Eviction mit lernbasierten Routing‑Algorithmen entsteht ein adaptiver Ansatz, der sich an sich ändernde Anfrage­muster anpasst. Dieser Ansatz balanciert die Last auf die Worker und erhöht gleichzeitig die Trefferquote des Caches.

Die theoretischen Erkenntnisse wurden in umfangreichen Experimenten auf vier Benchmarks und drei Prefix‑Sharing‑Setups validiert. Die Ergebnisse zeigen beeindruckende Verbesserungen: bis zu 6,92‑fach höhere Cache‑Hit‑Rate, 11,96‑fachere Latenzreduktion, 14,06‑fachere Verringerung der Time‑to‑First‑Token (TTFT) und ein Anstieg der Durchsatzrate um 77,4 % im Vergleich zu aktuellen Methoden. Der komplette Code ist auf GitHub unter https://github.com/fzwark/KVRouting verfügbar.