STEP: Schrittweise Bewertung von Traces senkt LLM‑Latenz um bis zu 70 %

Große Sprachmodelle (LLMs) können ihre Denkfähigkeiten durch Test‑Time‑Scaling verbessern, indem sie mehrere Rechenpfade erzeugen. Doch die Kombination aus langen Argumentationsketten und mehrfacher Stichprobenwahl führt zu enormem Rechenaufwand und hoher End‑zu‑End‑Latenz. Frühere Ansätze zur Beschleunigung nutzten Ähnlichkeits‑ oder Vertrauens‑Pruning, die jedoch nicht zuverlässig die Qualität eines Pfades anzeigen.

Um diese Schwächen zu überwinden, stellt STEP (Step‑level Trace Evaluation and Pruning) ein neues Pruning‑Framework vor. STEP bewertet jeden Rechenschritt anhand der versteckten Zustände des Modells und schneidet unversprechende Pfade bereits während der Generierung ab. Ein leichtgewichtiges Schritt‑Scoring‑Modell schätzt die Qualität der Traces, während eine GPU‑Speichersensitivität die Pruning‑Zeitpunkte bestimmt, sobald der KV‑Cache die Speichergrenze erreicht.

In umfangreichen Tests auf anspruchsvollen Rechenaufgaben senkt STEP die Gesamtlatenz im Durchschnitt um 45 % bis 70 % im Vergleich zu herkömmlicher Selbstkonsistenz. Gleichzeitig verbessert es die Genauigkeit der Antworten. Der komplette Code ist öffentlich zugänglich unter GitHub.