Effiziente LLM-Bewertung: Budgetfreundliche, variancengesteuerte Query-Strategie

Ein neues arXiv-Papier (2602.15481v1) präsentiert einen innovativen Ansatz zur Bewertung großer Sprachmodelle. Der sogenannte LLM-as-a-Judge nutzt die eigene Rechenkraft von LLMs, um Prompt‑Response‑Paare zu bewerten. Da die Bewertungen jedoch stochastisch sind, wird üblicherweise jede Paarung mehrfach abgefragt, um den Mittelwert zuverlässig zu schätzen.

Das zentrale Problem: Bei einem festen Rechenbudget B muss entschieden werden, wie die Abfragen optimal auf K Paare verteilt werden, um die Schätzfehler zu minimieren. Die Autoren schlagen eine variancengesteuerte Strategie vor, die auf Multi‑Armed‑Bandit‑Theorie und Konzentrationsungleichungen basiert. Durch geschätzte Score‑Varianten werden die Ressourcen gezielt dort konzentriert, wo die Unsicherheit am größten ist.

Der Algorithmus erreicht einen Worst‑Case‑Fehler von O(√(∑σᵢ²/B)), wobei σᵢ² die unbekannte Varianz des i‑ten Paares ist. Diese Abschätzung ist nahezu optimal hinsichtlich der Budgetverteilung.

Experimentelle Tests an den Datensätzen Summarize‑From‑Feedback und HelpSteer2 zeigen, dass die neue Methode die gleichmäßige Verteilung deutlich übertrifft. Sie reduziert die Schätzfehler bei identischem Budget und liefert damit eine effizientere Bewertung von LLMs.

Die Arbeit legt damit eine theoretische Basis für ressourcenschonende LLM‑Evaluierung und hat praktische Auswirkungen auf AI‑Sicherheit, Modell‑Alignment und automatisierte Bewertung in großem Maßstab.