Neue Rubrik-Optimierung steigert LLM-Urteilsgenauigkeit und Belohnungsqualität

In der Welt der großen Sprachmodelle (LLMs) werden Rubriken zunehmend eingesetzt, um Urteilsalgorithmen bei der Bewertung subjektiver, mehrdimensionaler menschlicher Präferenzen zu unterstützen. Trotz ihres Potenzials bleiben die automatisierte Erstellung und Kontrolle dieser Rubriken problematisch: Sie decken oft nicht alle relevanten Aspekte ab, vermischen unterschiedliche Dimensionen, weisen falsche Präferenzrichtungen auf und enthalten redundante oder stark korrelierende Kriterien, was die Genauigkeit der Urteilsmodelle mindert und zu suboptimalen Belohnungssignalen bei der Verstärkungsoptimierung führt.

Die neue Methode namens RRD (Recursive Rubric Decomposition) bietet einen systematischen Ansatz zur Verfeinerung von Rubriken. Durch einen rekursiven Decompose‑Filter‑Zyklus zerlegt RRD grobe Rubriken in fein abgestufte, diskriminierende Kriterien, erweitert damit die Abdeckung und schärft die Unterscheidung zwischen verschiedenen Antworten. Anschließend filtert ein ergänzender Mechanismus fehlerhafte und redundante Kriterien heraus, während ein korrelationsbewusstes Gewichtungssystem verhindert, dass stark korrelierende Kriterien überrepräsentiert werden. Das Ergebnis sind Rubrikensätze, die informativ, umfassend und frei von Wiederholungen sind.

Experimentelle Tests zeigen, dass RRD signifikante Verbesserungen sowohl bei der Bewertung als auch beim Training erzielt. Auf den Benchmarks JudgeBench und PPE erreichten LLM‑Urteilsmodelle mit RRD bis zu 17,7 Punkte mehr als bei herkömmlichen Rubriken, und zwar für GPT‑4o sowie Llama3.1‑405B. Als Belohnungsquelle für die Verstärkungsoptimierung (RFT) auf WildChat führte RRD zu deutlich stärkeren und stabileren Lernsignalen: die Belohnung stieg um bis zu 160 % bei Qwen3‑4B und um 60 % bei Llama3.1‑8B, im Vergleich zu 10‑20 % bei bisherigen Rubrikensätzen. Diese Verbesserungen übertragen sich auch auf weitere Aufgaben wie HealthBench‑Hard und BiGGen Bench.

RRD setzt damit einen neuen Standard für die Erstellung von Rubriken in der KI‑Bewertung und -Belohnung. Durch die Kombination von Decomposition, Filtering und korrelationsbewusster Gewichtung liefert es robuste, präzise und vielseitig einsetzbare Bewertungsrahmen, die sowohl die Genauigkeit von LLM‑Urteilen als auch die Effektivität von Reinforcement‑Learning‑Modellen nachhaltig steigern.