DaGRPO: Verbesserte LLM-Logik durch Gradientenkorrektur und Distinctiveness
Die Weiterentwicklung großer Sprachmodelle hat den Fokus von oberflächlichem Befolgen von Anweisungen hin zu tiefgreifendem, mehrstufigem Denken verlagert. Das bisher führende Verfahren, Group Relative Policy Optimization (GRPO), kann diese Fähigkeiten nach dem Training aktivieren, leidet jedoch unter Instabilität und geringer Stichprobeneffizienz. Die Autoren zeigen, dass das Problem auf fehlende Distinctiveness in den On‑Policy‑Rollouts zurückzuführen ist: Bei einfachen Fragen erzeugen homogene Samples destruktive Gradientenkonflikte, während bei schwierigen Fragen die Knappheit positiver Beispiele die Optimierung schwächt.
