RhymeRL beschleunigt LLM-Reinforcement-Learning durch Rhyme-Techniken

Mit dem rasanten Fortschritt großer Sprachmodelle (LLMs) wird Reinforcement Learning (RL) immer wichtiger, um deren Denkfähigkeiten zu verbessern. Im Gegensatz zu herkömmlichen Pre‑Training‑Methoden umfasst RL mehrere Phasen – Rollout, Belohnung und Training – die eine enge Zusammenarbeit verschiedener Worker erfordern. Trotz dieser Komplexität leiden aktuelle RL‑Systeme weiterhin unter erheblichem GPU‑Unnötigem, weil der Rollout‑Schritt den Prozess dominiert und Ungleichgewichte in den Rollout‑Längen zu „GPU‑Blasen“ führen.

RhymeRL löst diese Engpässe mit zwei innovativen Ansätzen. Zunächst verbessert HistoSpec die Rollout‑Generierung, indem es spekulatives Decodieren nutzt und historische Token‑Sequenzen auswertet, um präzise Entwürfe zu erstellen. Zweitens adressiert HistoPipe die Rollout‑Blasen durch ein zweistufiges Scheduling, das die Verteilung der Rollout‑Daten anhand historischer Muster ausbalanciert.

In einer realen Produktionsumgebung wurde RhymeRL getestet und zeigte eine beeindruckende Skalierbarkeit von wenigen bis zu mehreren tausend GPUs. Die Ergebnisse deuten darauf hin, dass RhymeRL die Effizienz von LLM‑RL deutlich steigern kann, ohne die Trainingsgenauigkeit zu beeinträchtigen.