Verifizierbare Belohnungen im RL: Wie Rauschen Lernen oder Scheitern lässt
In der neuesten Studie zum Reinforcement‑Learning‑Paradigma RLVR (Reinforcement Learning with Verifiable Rewards) wird ein zentrales Problem beleuchtet: die Verifizierer, die eigentlich die Qualität von Modellantworten prüfen, sind selten fehlerfrei. Unit‑Tests decken nur wenige Randfälle ab, menschliche und synthetische Labels sind unvollständig und KI‑basierte Urteilsmechanismen wie RLAIF sind verrauscht und können manipuliert werden. Besonders in anspruchsvollen Bereichen wie dem Programmieren, wo Tests knapp und zunehmend modellgeneriert sind, verschärft sich dieses Problem.