Sparse‑RL: Speicherprobleme bei LLM‑Reinforcement Learning überwinden

Reinforcement Learning (RL) hat sich als unverzichtbares Werkzeug etabliert, um komplexe Denkfähigkeiten in großen Sprachmodellen (LLMs) zu entfalten. Dabei wird bei langen Rollouts ein enormes KV‑Cache‑Speicherproblem erzeugt, das die effiziente Schulung auf begrenzter Hardware stark einschränkt.

Während bestehende KV‑Kompressionstechniken bei der Inferenz nützlich sind, führt ihre direkte Anwendung im RL‑Training zu einem gravierenden Policy‑Mismatch. Das Ergebnis ist ein katastrophaler Leistungsabfall, weil die komprimierten Daten die Lernpolitik verzerren.

Die neue Methode Sparse‑RL löst dieses Problem, indem sie stabile RL‑Schulungen unter sparsamen Rollouts ermöglicht. Sie erkennt, dass Instabilität entsteht, wenn die dichte alte Politik, die sparsamen Sampler‑Politik und die Lernpolitik nicht übereinstimmen. Durch sparsity‑aware Rejection Sampling und importance‑based Reweighting korrigiert Sparse‑RL die durch Kompression verursachte Off‑Policy‑Verzerrung.

Experimentelle Ergebnisse zeigen, dass Sparse‑RL die Rollout‑Kosten im Vergleich zu dichten Baselines deutlich senkt, ohne die Leistung zu beeinträchtigen. Gleichzeitig stärkt die sparsity‑aware Trainingsstrategie die Robustheit des Modells bei sparsamen Inferenz‑Deployments.