Forschung
LLM-Infere Scheduling: Unsicherheitsbewusste Ausgabe-Längenvorhersagen
In der Welt der großen Sprachmodelle (LLMs) ist die effiziente Planung von Inferenzaufgaben entscheidend. Traditionell nutzt man das Prinzi…
arXiv – cs.LG