Hard Examples sind der Schlüssel: GRPO maximiert Ergebnisse bei begrenztem Budget

Die Beschaffung hochwertiger Trainingsdaten für die Feinabstimmung von Sprachmodellen ist teuer und die verfügbaren Budgets begrenzen die Menge an Daten, die man beschaffen kann. In einer aktuellen Studie wurde die Frage untersucht, welche Art von Beispielen – einfach, mittel, schwer oder zufällig – unter einem festen Budget am besten eingesetzt werden sollten, um die Leistung von Group Relative Policy Optimization (GRPO) zu maximieren.

Die Forscher haben GRPO auf Modellen unterschiedlicher Größe und Familien getestet und vier Auswahlstrategien aus demselben unlabelierten Datensatz verglichen. Die Schwierigkeit der Beispiele wurde dabei anhand von Mehrfachauswertungen des Basismodells geschätzt. Die Ergebnisse zeigen deutlich, dass das Training mit den schwierigsten Beispielen die größten Leistungssteigerungen erzielt – bis zu 47 % mehr als bei der Verwendung leichter Beispiele. Der Grund liegt darin, dass schwierige Beispiele dem Modell mehr Lernmöglichkeiten bieten und die Optimierung während des GRPO-Trainings stärker anregen.

Diese Erkenntnisse liefern klare Handlungsempfehlungen für ressourcenbeschränkte Post‑Training‑Szenarien: Wenn die Datenmenge begrenzt ist, sollten Entwickler gezielt die schwersten Beispiele auswählen, um bei Reasoning‑Aufgaben mit GRPO signifikante Verbesserungen zu erzielen. Die Studie unterstreicht damit die Bedeutung einer gezielten Beispielauswahl für effizientes und effektives Modelltraining.