LLM-Post-Training: Skalierung von Reinforcement Learning in der Mathematik

Wissenschaftler haben die bislang wenig erforschten Skalierungsregeln von großen Sprachmodellen (LLMs) nach dem Reinforcement-Learning (RL)-Training systematisch untersucht. Dabei lag der Fokus auf mathematischem Denken, einem Bereich, der besonders von der Leistungsfähigkeit der Modelle abhängt.

In 54 Experimenten wurden Modelle unterschiedlicher Größe, Datenmenge und Rechenbudget getestet. Die Ergebnisse zeigen, dass bei festem Rechenbudget größere Modelle, die weniger Schritte durchlaufen, konsequent bessere Leistungen erbringen als kleinere Modelle mit mehr Schritten.

Wenn die Datenmenge konstant bleibt, erreichen größere Modelle eine höhere Stichproben-Effizienz und erzielen niedrigere Verluste. Das bedeutet, sie lernen schneller aus denselben Daten.

In datenbeschränkten Szenarien ist die wiederholte Nutzung hochwertiger Daten besonders effektiv. Hier bestimmt die Gesamtzahl der Optimierungsschritte die finale Leistung mehr als die Vielfalt der einzelnen Stichproben.

Diese Skalierungsverhalten gelten sowohl für Basis- als auch für instruction-tuned Modelle und zeigen ähnliche Lerndynamiken: Größere Modelle konvergieren schneller, obwohl ihre absolute Genauigkeit variiert. Die Studie liefert damit klare, praxisnahe Leitlinien, um die mathematischen Fähigkeiten von LLMs effizient durch RL-Post-Training zu verbessern.