GRPO-Optimierung zeigt bei kleinen Sprachmodellen Grenzen bei schwierigen Aufgaben

Eine neue Untersuchung auf arXiv beleuchtet, wie die Gradient Preference Optimization (GRPO) in Kombination mit LoRA die mathematische Problemlösung von kleinen Sprachmodellen (bis zu 3 Billionen Parametern) verbessern kann. Dabei wurden die Modelle auf den Datensätzen GSM8K und MATH getestet, wobei die Aufgaben nach Schwierigkeitsgrad segmentiert wurden.

Die Ergebnisse zeigen, dass die Genauigkeit der Modelle mit steigender Problemkomplexität zunächst zunimmt, aber schließlich ein Plateau erreicht. Dieses Verhalten deutet auf eine Kapazitätsgrenze hin: GRPO verlagert die Wahrscheinlichkeitsverteilung der Ausgaben, verbessert jedoch nicht zuverlässig die Lösung der schwierigsten Aufgaben. Interessanterweise liefert ein Training ausschließlich mit leichteren Aufgaben die gleiche Genauigkeit über alle Schwierigkeitsstufen hinweg, während dafür nur rund 45 % der üblichen Trainingsschritte benötigt werden – ein klarer Hinweis auf abnehmende Renditen bei hartnäckigen Beispielen.

Ein weiteres bemerkenswertes Ergebnis ist die Kreuzdatensatz-Generalisierung. Modelle, die mit GRPO auf GSM8K trainiert wurden, erzielen auf dem numerischen Teil von MATH eine Genauigkeit, die um etwa 5 % bei 1,5 B Parametern und um 3 % bei 3 B Parametern höher liegt als die von MATH-Trainierten Modellen. Dies unterstreicht, dass die Wahl des Trainingsdatensatzes einen signifikanten Einfluss auf die Leistungsverbesserung hat.

Zusammenfassend lässt sich sagen, dass die maximal erreichbaren Verbesserungen stark von der bereits vorhandenen Rechenkompetenz des Basismodells und dem Schwierigkeitsprofil des Datensatzes abhängen. Die Studie liefert wichtige Einblicke für die effiziente Feinabstimmung kleinerer Sprachmodelle in ressourcenbeschränkten Szenarien.