Disaggregated LLM-Serving: Performance und Energie im Fokus

In einer neuen Studie wird die Idee des disaggregierten LLM-Servings – bei dem die Vorverarbeitung (Prefill) und die Decodierung auf getrennten GPUs laufen – eingehend untersucht. Durch den Transfer des KV‑Caches zwischen den GPUs entstehen dabei neue Herausforderungen, die bislang nicht systematisch verglichen wurden.

Die Forscher haben verschiedene Speicher‑ und Speicher‑Transferpfade getestet und die Leistung sowie den Energieverbrauch mit dynamischer Spannungs‑ und Frequenzskalierung (DVFS) gemessen. Dabei wurde ein klassisches, auf demselben GPU platzierendes Basismodell als Referenz herangezogen.

Ergebnisse zeigen, dass die erwarteten Leistungsgewinne nicht automatisch eintreten. Sie hängen stark von der Anfragelast und dem gewählten KV‑Cache‑Transfermedium ab. Zudem führt die unabhängige Frequenzskalierung der einzelnen Stufen – ein möglicher Vorteil des Disaggregated-Ansatzes – nicht zu Energieeinsparungen, weil die Gesamtenergie des Systems höher bleibt.

Die Arbeit liefert damit die erste systematische Benchmark, die die Vor- und Nachteile von disaggregiertem LLM‑Serving aus Sicht von Performance und Energie beleuchtet und damit wichtige Erkenntnisse für die Praxis liefert.