Rauschen zerstört Verstärkendes Lernen mit verifizierbaren Belohnungen

Eine neue Untersuchung auf arXiv zeigt, dass Rauschen in Trainingsdaten das Potenzial von Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) stark einschränkt. Frühere Studien hatten behauptet, dass RLVR-Algorithmen auch bei komplett fehlerhaften Daten gut funktionieren. Diese Ergebnisse erwiesen sich jedoch als irreführend, weil die Datensätze, die als „100 % verrauscht“ bezeichnet wurden, tatsächlich noch saubere Beispiele enthielten.

Durch einen rigorosen Re‑Verifikationsprozess wurden die Daten bereinigt und die wahre Auswirkung von Rauschen sichtbar. Die Analyse zeigt, dass die neuesten Verbesserungen von RLVR keine signifikante Abschwächung der negativen Effekte erzielen und die Leistung bei verrauschten Daten immer noch dem Basis‑GRPO‑Modell entspricht.

Besonders auffällig ist, dass Modelle, die ausschließlich mit echten Fehlern trainiert wurden, bei mathematischen Reasoning‑Benchmarks 8 – 10 % schlechter abschneiden als Modelle, die auf sauberen Daten basieren. Auch in realen Anwendungen, etwa bei Text‑zu‑SQL‑Aufgaben, führt das Training mit menschlichen Annotationen zu einer Genauigkeitsdifferenz von 5 – 12 % im Vergleich zu sauberem Training.

Die Studie unterstreicht, dass aktuelle RLVR‑Methoden noch nicht in der Lage sind, die Qualität minderwertiger Daten auszugleichen. Hochwertige, verifizierte Trainingsmaterialien bleiben daher ein entscheidender Faktor für den Erfolg von RLVR‑basierten Modellen.