Semantisches Caching für LLM-Embeddings: Von perfekten Treffern zu „nahe genug“

Mit der rasanten Verbreitung großer Sprachmodelle wächst der Bedarf an schnelleren Antworten und geringeren Kosten. Ein vielversprechender Ansatz ist das semantische Caching, bei dem ähnliche Anfragen anhand ihrer Embeddings wiederverwendet werden.

In der vorliegenden Studie wird gezeigt, dass die optimale Offline-Strategie für semantisches Caching NP‑hart ist. Die Autoren stellen deshalb mehrere polynomialzeitliche Heuristiken vor, die das Problem praktisch handhabbar machen.

Darüber hinaus werden Online‑Strategien vorgestellt, die neben der klassischen Verweildauer und Häufigkeit auch die semantische Nähe berücksichtigen. Diese Kombination aus Recency, Frequency und Locality führt zu einer besseren Ausnutzung des Caches.

Die Experimente auf vielfältigen Datensätzen belegen, dass frequenzbasierte Baselines bereits stark sind, die neue Variante jedoch die semantische Genauigkeit deutlich verbessert. Damit liefert die Arbeit konkrete, umsetzbare Ansätze für aktuelle Systeme und weist gleichzeitig auf erhebliches Optimierungspotenzial hin.

Alle Implementierungen sind Open Source verfügbar, sodass Entwickler sofort von den Erkenntnissen profitieren können.