LightningRL: Genauigkeit und Parallelität in dLLMs neu ausbalanciert

Diffusion‑Large‑Language‑Models (dLLMs) haben sich als vielversprechende Lösung für die parallele Token‑Generierung etabliert. Besonders block‑weise Varianten erfreuen sich wachsender Forschungslust, doch sie stoßen häufig an die Grenze eines starren Genauigkeit‑Parallelität‑Trade‑offs: je mehr Tokens gleichzeitig generiert werden, desto stärker sinkt die Qualität und die Stabilität der Ausgabe.

Die Ursache liegt darin, dass die Modelle in hochparallelen Regimen nicht mehr in der Lage sind, Approximationseffekte und lokale Fehler zu kompensieren. Diese Fehler akkumulieren sich und führen zu einer insgesamt unzuverlässigen Generierung.

Um dieses Problem zu lösen, präsentiert LightningRL ein post‑Training‑Framework, das die Geschwindigkeit‑Qualität‑Pareto‑Grenze von vortrainierten dLLMs gezielt optimiert. Anstatt eine einheitliche Parallelisierung zu erzwingen, nutzt LightningRL Reinforcement Learning, um hochparallele Pfade zu identifizieren und zu verstärken, die die Genauigkeit bewahren. Das System baut auf dem Group Relative Policy Optimization (GRPO) Framework auf und fügt drei maßgeschneiderte Verbesserungen hinzu: eine stabilisierte Trainingsnormalisierung, eine token‑basierte Negative Log‑Likelihood‑Regularisierung zur Sicherung der Modellleistung und eine dynamische Stichprobenstrategie mit TPF‑bewusster Filterung zur Effizienzsteigerung.

Experimentelle Tests auf mathematischen und programmiertechnischen Benchmarks zeigen, dass LightningRL die Pareto‑Grenze konsequent verschiebt und damit sowohl höhere Parallelität als auch verbesserte Genauigkeit gleichzeitig erreicht.