LLM-Juroren: Gute globale Scores, aber Best‑of‑N‑Entscheidungen versagen

In der KI‑Forschung werden große Sprachmodelle häufig als „Juroren“ eingesetzt, um Antworten zu bewerten. Dabei wird die Qualität meist anhand eines einzigen globalen Maßstabs, etwa der Korrelation mit Referenzlabels, beurteilt. Dieses Vorgehen kann jedoch irreführend sein, wenn die eigentliche Aufgabe die Auswahl der besten Antwort aus mehreren Optionen innerhalb eines Promptes ist.

Ein aktuelles Benchmark‑Studium mit 5.000 Prompten und einer Best‑of‑4‑Auswahl zeigte, dass ein Modell mit einer moderaten globalen Korrelation von r = 0,47 lediglich 21 % der möglichen Verbesserung gegenüber einer zufälligen Auswahl erfasst. Der Grund liegt darin, dass die globale Übereinstimmung stark von Prompt‑Level‑Effekten getrieben wird, während die Auswahl auf der Rangfolge innerhalb eines Promptes beruht. Die innerhalb‑Prompt‑Korrelation beträgt nur r = 0,27, und bei 67 % der Paarvergleiche entstehen durch grobe Punktwertungen Gleichstände.

Eine gezielte, gepaarte Best‑of‑2‑Audit‑Methode kann diesen Verlust erheblich reduzieren: Die Wiederherstellung der relevanten Signalstärke steigt von 21,1 % auf 61,2 %. Für eine aussagekräftige Bewertung von LLM‑Juroren sollten Audits daher nicht nur die globale Übereinstimmung, sondern auch die innerhalb‑Prompt‑Signalstärke, die Häufigkeit von Gleichständen und die Top‑1‑Genauigkeit berücksichtigen.