Reinforcement Learning mit Rubrik‑Ankern: LLMs werden menschlicher

Ein neues Paradigma namens Reinforcement Learning from Verifiable Rewards (RLVR) hat die Entwicklung großer Sprachmodelle (LLMs) beschleunigt, wie die Erfolge der OpenAI‑o‑Serie zeigen. Dabei werden Belohnungen aus überprüfbaren Signalen – etwa das Bestehen von Unit‑Tests bei Code‑Generierung oder das Finden korrekter Antworten in mathematischen Aufgaben – abgeleitet. Dieses Vorgehen beschränkt sich jedoch bislang auf Aufgaben mit automatisch prüfbaren Ergebnissen.

Die aktuelle Studie erweitert RLVR um ein innovatives Konzept: rubric‑basierte Belohnungen. Hierbei dienen sorgfältig gestalteten Rubriken als strukturierte, modellverständliche Kriterien, die subjektive Ausgaben automatisch bewerten können. Das Team hat damit das bislang größte Rubrik‑Belohnungssystem aufgebaut – mehr als 10.000 Rubriken, die von Menschen, LLMs oder einer hybriden Mensch‑LLM‑Zusammenarbeit erstellt wurden.

Die Umsetzung von rubric‑basiertem RL ist technisch anspruchsvoll. Die Autoren stellen einen klaren Rahmen vor und veröffentlichen ein Open‑Source‑Modell, Qwen‑30B‑A3B, das bemerkenswerte Fortschritte erzielt. Mit nur rund 5.000 Trainingsbeispielen verbessert sich die Leistung auf offenen, besonders im Bereich der Geisteswissenschaften, um +5,2 %. Das Modell übertrifft sogar ein 671‑Billionen‑Parameter‑Modell, DeepSeek‑V3, um +2,4 %, während die allgemeinen und logischen Fähigkeiten erhalten bleiben.

Ein weiterer Vorteil ist die feinkörnige Stilkontrolle. Durch die Verwendung von Rubriken als Anker kann das Modell den „AI‑ähnlichen“ Ton reduzieren und authentischere, ausdrucksstärkere Antworten generieren. Die Autoren teilen wichtige Erkenntnisse zur Rubrik‑Konstruktion, Datenauswahl und dem Training und diskutieren gleichzeitig die Grenzen der Methode sowie geplante Weiterentwicklungen.