Forschung
Reinforcement Learning beschleunigt spekulatives Sampling bei LLMs
Die Latenz bei der Inferenz großer Sprachmodelle bleibt ein zentrales Problem für den Einsatz in der Praxis. Aktuelle spekulative Sampling‑…
arXiv – cs.LG