RLHFSpec: Beschleunigt RLHF-Training durch adaptive Drafting-Strategien

Ein neues System namens RLHFSpec hat die Effizienz des Reinforcement Learning from Human Feedback (RLHF) drastisch verbessert. RLHF ist ein entscheidendes Verfahren zur Feinabstimmung großer Sprachmodelle, bei dem die Generation von Texten, deren Auswertung und das anschließende Training aufeinander folgen. Die Generation von Texten stellt dabei den größten Engpass im gesamten Prozess dar.

RLHFSpec löst dieses Problem, indem es die Technik des spekulativen Decodings – also das vorzeitige Vorhersagen von Tokens – direkt in die Generationsphase integriert. Durch adaptive spekulative Decodierung und eine intelligente Neuverteilung der generierten Samples wird die Ausführung der Generationsschritte deutlich beschleunigt.

Ein zentrales Merkmal von RLHFSpec ist die „workload‑aware“ Drafting‑Strategieauswahl. Das System wählt die nahezu optimale Strategie, indem es gleichzeitig die Kosten für die Verifikation und die Anzahl der akzeptierten Tokens berücksichtigt. Zusätzlich sorgt ein effizienter Sample‑Migration‑Mechanismus dafür, dass die GPU-Ressourcen vollständig ausgelastet werden.

Experimentelle Ergebnisse zeigen, dass RLHFSpec die Durchsatzrate in der Generationsphase im Vergleich zu aktuellen Spitzenlösungen deutlich erhöht. Durch die Beseitigung des Engpasses in der Generierung erzielt das System zudem einen signifikanten Geschwindigkeitsgewinn für die gesamte RLHF-Ausführung.