CoPRIS: Schnellere und stabilere RL-Optimierung durch parallele Rollouts

Reinforcement‑Learning‑Post‑Training (RL‑PT) hat sich zu einem beliebten Ansatz entwickelt, um die Leistungsfähigkeit großer Sprachmodelle zu steigern. Die meisten bestehenden RL‑Systeme arbeiten jedoch synchron: Das Training wartet, bis ein kompletter Batch von Rollouts abgeschlossen ist. Bei sehr langen Trajektorien kann dieser Ansatz zu erheblichen Ineffizienzen führen, da die gesamte Pipeline blockiert wird und viele GPUs untätig bleiben.

CoPRIS (Concurrency‑Controlled Partial Rollout with Importance Sampling) löst dieses Problem, indem es die Anzahl gleichzeitiger Rollouts konstant hält und Rollouts frühzeitig beendet, sobald genügend Samples gesammelt wurden. Unvollendete Trajektorien werden anschließend wiederverwendet, wodurch die GPU-Auslastung optimiert und die Trainingszeit drastisch reduziert wird.

Um die Verzerrung durch Off‑Policy‑Trajektorien zu minimieren, führt CoPRIS eine Cross‑Stage‑Importance‑Sampling‑Correction ein. Dabei werden die in der vorherigen Policy gespeicherten Log‑Wahrscheinlichkeiten mit denen der aktuellen Policy kombiniert, um eine präzisere Gewichtung für die Sampling‑Korrektur zu ermöglichen.

Experimentelle Tests auf anspruchsvollen mathematischen Reasoning‑Benchmarks zeigen, dass CoPRIS die Trainingsgeschwindigkeit um bis zu 1,94‑fach steigern kann, während die Leistung gleichwertig oder sogar besser bleibt als bei synchronen RL‑Systemen. Der komplette Code ist frei verfügbar unter https://github.com/777pomingzi/CoPRIS.