Reward-Modelle ohne menschliche Hilfe: Skalierung durch unüberwachtes Lernen

Forscher haben einen neuen Ansatz vorgestellt, mit dem Belohnungsmodelle ohne menschliche Annotationen skaliert werden können. Durch das Training auf 11 Millionen Tokens aus mathematisch orientierten Webdaten konnten die Modelle kontinuierlich bessere Ergebnisse bei den Benchmark-Tests RewardBench v1 und v2 erzielen.

Der Schlüssel liegt in der sogenannten „Reward‑Based Scaling“ (RBS), bei der Präferenzlernen auf Dokumentpräfixen und -suffixen aus großen Webkorpora angewendet wird. Trotz fehlender menschlicher Labels zeigte sich, dass die Modelle signifikante Verbesserungen erzielen: Auf RewardBench v2 steigen die Genauigkeiten im Durchschnitt um bis zu 7,7 Punkte, mit Spitzenwerten von 16,1 Punkten in mathematischen Untergruppen.

Die erzielten Fortschritte übertragen sich auch auf andere Aufgaben. In Best‑of‑N-Auswahlverfahren und bei der Policy‑Optimierung führen die unüberwachten Belohnungsmodelle zu einer deutlichen Steigerung der mathematischen Leistungsfähigkeit und übertreffen dabei oft starkere, mit menschlichen Daten trainierte Modelle gleicher Größe.

Diese Ergebnisse unterstreichen die Machbarkeit und das Potenzial, Belohnungsmodelle ohne die Kosten und Unsicherheiten menschlicher Annotationsprozesse zu entwickeln. Der Ansatz eröffnet neue Wege, um die Fähigkeiten und die Sicherheit von KI‑Systemen effizienter zu verbessern.