DAS beschleunigt RL-Training: Spekulatives Decoding nutzt Rollout-Verteilung
Reinforcement‑Learning‑Post‑Training ist heute unverzichtbar, um große Sprachmodelle (LLMs) zu verfeinern. Dabei wird die Effizienz zunehmend durch die Rollout‑Phase limitiert, in der lange Sequenzen tokenweise generier…
- Reinforcement‑Learning‑Post‑Training ist heute unverzichtbar, um große Sprachmodelle (LLMs) zu verfeinern.
- Dabei wird die Effizienz zunehmend durch die Rollout‑Phase limitiert, in der lange Sequenzen tokenweise generiert werden.
- Ein wesentlicher Engpass liegt in der langen Schwanzverteilung der Rollout‑Längen: nur ein kleiner Anteil sehr langer Generationen beansprucht den Großteil der Rechenzei…
Reinforcement‑Learning‑Post‑Training ist heute unverzichtbar, um große Sprachmodelle (LLMs) zu verfeinern. Dabei wird die Effizienz zunehmend durch die Rollout‑Phase limitiert, in der lange Sequenzen tokenweise generiert werden. Ein wesentlicher Engpass liegt in der langen Schwanzverteilung der Rollout‑Längen: nur ein kleiner Anteil sehr langer Generationen beansprucht den Großteil der Rechenzeit.
Um dieses Problem zu lösen, stellt DAS (Distribution‑Aware Speculative Decoding) ein neues Framework vor. Es kombiniert einen adaptiven, nichtparametrischen Drafter, der aus aktuellen Rollouts mithilfe eines inkrementell gepflegten Suffix‑Baums erstellt wird, mit einer längs‑sensiblen Spekulationsstrategie. Diese weist längeren Trajektorien aggressivere Draft‑Budgets zu, die den größten Einfluss auf die Gesamtausführungszeit haben.
Durch die Nutzung historischer Rollouts kann DAS die Akzeptanzraten hoch halten und gleichzeitig die Kosten auf Basis von Basis‑ und Token‑Level‑Kosten ausbalancieren. Auf Aufgaben der mathematischen und programmatischen Problemlösung konnte DAS die Rollout‑Zeit um bis zu 50 % reduzieren, ohne die Lernkurve zu verändern. Damit zeigt sich, dass distribution‑aware speculative decoding das RL‑Post‑Training signifikant beschleunigt, ohne die Qualität des Lernens zu beeinträchtigen.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.