TinyServe: Schnellere LLM-Serving durch query‑basierte Cache‑Auswahl
Mit TinyServe wird das Ausführen kleiner Sprachmodelle wie TinyLLaMA oder GPT‑2‑345 M deutlich effizienter. Das System kombiniert strukturierte KV‑Sparsity, ein plugin‑basiertes Token‑Auswahl‑Modul und hardware‑effizien…