Forschung
Neue LK-Verluste steigern Akzeptanzrate bei spekulativem Decoding von LLMs
Spekulatives Decoding beschleunigt die Inferenz von autoregressiven Sprachmodellen, indem ein leichtes Draft-Modell zunächst Kandidatentoke…
arXiv – cs.LG