Effiziente Schätzung von LLM-Judges trotz Rauschen

Große Sprachmodelle (LLMs) werden zunehmend als automatische Prüfer für generative KI‑Ausgaben eingesetzt – ein Ansatz, der als „LLM‑als‑Richter“ bekannt ist. In der Praxis liefern diese Modelle jedoch nicht immer perfekte Bewertungen, sondern zeigen systematische, nicht zufällige Fehler.

Um diese Verzerrungen zu korrigieren, wurden zwei Hauptmethoden entwickelt: Erstens die direkte Messfehlerkorrektur, die auf Modellen wie den Rogan‑Gladen‑Schätzern basiert; zweitens die Surrogat‑Outcome‑Ansätze, insbesondere die vorhersagegestützte Inferenz (PPI), die die Verzerrungskorrektur durch Kalibrierung der Residuen auf einer kleinen Menge goldener menschlicher Labels erreichen.

In der vorliegenden Studie wurden die beiden Ansätze systematisch verglichen. Durch die Anwendung semiparametrischer Effizienztheorie wurden effiziente Einflussfunktionen (EIF) abgeleitet, die die beiden Schätzerklassen vereinheitlichen. Die Autoren zeigen, unter welchen Bedingungen PPI‑basierte Schätzer eine deutlich geringere asymptotische Varianz als Messfehlerkorrekturen erzielen.

Die theoretischen Erkenntnisse wurden sowohl in Simulationen als auch an realen Datensätzen validiert. Für die Praxis steht ein Open‑Source‑Implementierungspaket zur Verfügung, das die Benchmarks und Vergleichswerkzeuge bereitstellt: https://github.com/yiqunchen/debias-llm-as-a-judge.