PASCAL: Neuer Scheduling-Algorithmus verkürzt TTFT bei Chain-of-Thought-LLMs um 72 %

In einer kürzlich veröffentlichten Arbeit auf arXiv präsentiert das Forschungsteam den Algorithmus PASCAL, der die Ausführung von reasoning‑basierten Large Language Models (LLMs) revolutioniert. Durch die gezielte Berücksichtigung der unterschiedlichen Phasen – Erklären und Beantworten – kann PASCAL die Zeit bis zum ersten Token (TTFT) drastisch reduzieren.

Chain‑of‑Thought (CoT) Inferenz führt zu langen, komplexen Denkphasen, die die Antwortzeit von LLMs erheblich verzögern. Traditionelle Serving‑Frameworks unterscheiden diese Phasen nicht, was bei begrenztem GPU‑Speicher zu Leistungseinbußen führt. PASCAL adressiert dieses Problem, indem es die Denkphase priorisiert und gleichzeitig die Antwortphase mit kontrollierter Preemption und Token‑Pacing optimiert.

Der hierarchische Scheduler von PASCAL kombiniert die Platzierung auf Instanzebene mit der Ausführung innerhalb einer Instanz. Durch dynamische Migration an Phasen­grenzen wird die Last gleichmäßig verteilt und Interferenzen minimiert. Diese Technik ermöglicht eine effiziente Nutzung der GPU-Ressourcen, ohne die Qualität der Antwort zu beeinträchtigen.

In Benchmarks mit dem Modell DeepSeek‑R1‑Distill‑Qwen‑32B konnte PASCAL die Schwanz‑TTFT um bis zu 72 % senken, während die Service‑Level‑Objectives (SLOs) der Antwortphase weiterhin erfüllt wurden. Die Ergebnisse unterstreichen die Bedeutung eines phasen‑sensiblen Ansatzes für die Bereitstellung von reasoning‑basierten LLMs.