DAS beschleunigt RL-Training: Spekulatives Decoding nutzt Rollout-Verteilung

Reinforcement‑Learning‑Post‑Training ist heute unverzichtbar, um große Sprachmodelle (LLMs) zu verfeinern. Dabei wird die Effizienz zunehmend durch die Rollout‑Phase limitiert, in der lange Sequenzen tokenweise generiert werden. Ein wesentlicher Engpass liegt in der langen Schwanzverteilung der Rollout‑Längen: nur ein kleiner Anteil sehr langer Generationen beansprucht den Großteil der Rechenzeit.

Um dieses Problem zu lösen, stellt DAS (Distribution‑Aware Speculative Decoding) ein neues Framework vor. Es kombiniert einen adaptiven, nichtparametrischen Drafter, der aus aktuellen Rollouts mithilfe eines inkrementell gepflegten Suffix‑Baums erstellt wird, mit einer längs‑sensiblen Spekulationsstrategie. Diese weist längeren Trajektorien aggressivere Draft‑Budgets zu, die den größten Einfluss auf die Gesamtausführungszeit haben.

Durch die Nutzung historischer Rollouts kann DAS die Akzeptanzraten hoch halten und gleichzeitig die Kosten auf Basis von Basis‑ und Token‑Level‑Kosten ausbalancieren. Auf Aufgaben der mathematischen und programmatischen Problemlösung konnte DAS die Rollout‑Zeit um bis zu 50 % reduzieren, ohne die Lernkurve zu verändern. Damit zeigt sich, dass distribution‑aware speculative decoding das RL‑Post‑Training signifikant beschleunigt, ohne die Qualität des Lernens zu beeinträchtigen.