Optimierung von Tokens für LLM-Server: Genauigkeit vs. Latenz im Fokus

Ein neues Papier aus dem arXiv präsentiert eine mathematisch fundierte Methode, um die Anzahl der internen „Denken“-Tokens, die ein einzelner Large‑Language‑Model‑Server pro Anfrage zuweist, optimal zu bestimmen. Dabei werden die unterschiedlichen Aufgabenarten, die in einem heterogenen Anfrage‑Strom auftreten, berücksichtigt. Die Anfragen folgen einem Poisson‑Prozess und jede Aufgabe hat eine bekannte Priorität.

Die Autoren zeigen, dass die Servicezeit eines Tokens nahezu linear mit der zugewiesenen Token‑Anzahl variiert, während die Erfolgswahrscheinlichkeit einer Antwort mit abnehmenden Zuwächsen steigt. Unter der FIFO‑Service‑Disziplin lässt sich das System als M/G/1‑Warteschlange modellieren, sodass die mittlere Durchlaufzeit nur von den ersten beiden Momenten der Servicezeit abhängt.

Auf dieser Grundlage formulieren sie ein konvexes Optimierungsproblem, das eine gewichtete Genauigkeitsfunktion maximiert und gleichzeitig die mittlere Systemzeit berücksichtigt. Neben einem festen Token‑Budget und Stabilitätsbedingungen ergibt sich aus der strengen Konkavität des Zielfunktion ein eindeutiges Optimum. Die ersten‑Ordnung‑Bedingungen führen zu einer gekoppelt projizierten Fixpunkt‑Charakterisierung, die sich iterativ lösen lässt. Zusätzlich wird ein projizierter Gradienten­algorithmus mit global berechenbarem Schritt­größen­Grenzwert vorgestellt, der auch außerhalb des kontraktiven Bereichs konvergiert.

Die Arbeit liefert damit ein praktisches, theoretisch abgesichertes Verfahren, um die Genauigkeit und Latenz von LLM‑Servern in Echtzeit‑Anwendungen optimal auszubalancieren. Durch die Berücksichtigung von Token‑Beschränkungen und Warteschlangen‑Stabilität kann die Methode direkt in produktive Systeme integriert werden, um die Effizienz von KI‑Betriebszentren zu steigern.