TinyServe: Schnellere LLM-Serving durch query‑basierte Cache‑Auswahl

Mit TinyServe wird das Ausführen kleiner Sprachmodelle wie TinyLLaMA oder GPT‑2‑345 M deutlich effizienter. Das System kombiniert strukturierte KV‑Sparsity, ein plugin‑basiertes Token‑Auswahl‑Modul und hardware‑effiziente Attention‑Kernels, um die Speicher‑ und Latenzkosten bei der autoregressiven Dekodierung zu senken.

Ein zentrales Merkmal ist die „query‑aware page selection“. Durch die Nutzung von Bounding‑Box‑Metadaten kann TinyServe die Relevanz von KV‑Cache‑Blöcken für die aktuelle Anfrage abschätzen und nur die nötigsten Seiten laden. Dadurch entfällt die Notwendigkeit, das Modell selbst zu verändern, und die Ladezeiten werden drastisch reduziert.

Der integrierte CUDA‑Kernel führt Seitenbewertung, sparsamen Speicherzugriff und maskierte Attention in einem einzigen Durchlauf aus. In Experimenten erzielte TinyServe bis zu 3,4‑fachen Geschwindigkeitszuwachs und mehr als 2‑fachen Speicherersparnis, während die Genauigkeit praktisch unverändert blieb. Weitere Analysen zu Cache‑Wiederverwendung, Seiten‑Hit‑Raten und Multi‑GPU‑Skalierung zeigen, dass das System auch auf ressourcenbeschränkten Geräten zuverlässig funktioniert.