CARE: LLM-Fehler getrennt von echter Qualität – 26,8 % weniger Fehler

In der Welt der großen Sprachmodelle (LLMs) ist die Bewertung von Texten mit sogenannten „LLM-as-a-judge“-Ensembles zur Standardmethode geworden. Dabei werden mehrere Modelle eingesetzt, um die Qualität eines Textes zu beurteilen, und ihre Ergebnisse anschließend zusammengeführt. Doch die gängigen Aggregationsverfahren, wie Mehrheitsentscheid oder Mittelwertbildung, gehen fälschlicherweise davon aus, dass die einzelnen Modelle unabhängige Schätzungen liefern.

In der Praxis zeigen sich jedoch starke Zusammenhänge zwischen den Fehlern der Modelle. Gemeinsame latente Faktoren – etwa die Neigung zu ausführlichen Antworten, stilistische Vorlieben oder Artefakte aus dem Trainingsprozess – führen dazu, dass die Modelle ähnliche Fehler machen. Diese Korrelationen machen herkömmliche Aggregationsregeln ineffizient und können sogar systematische Fehler verstärken.

Um diesem Problem entgegenzuwirken, wurde CARE entwickelt – ein konfounder‑bewusstes Aggregationsframework. CARE modelliert die Bewertungen der LLM‑Judges als Summe aus einem latenten Signal echter Qualität und gemeinsamen Konfoundern. Durch diese Trennung kann CARE die wahre Qualität extrahieren, ohne auf echte Labels angewiesen zu sein, und damit die Aggregation deutlich verbessern.

Die Autoren haben CARE auf zwölf öffentlichen Benchmarks getestet, die kontinuierliche Bewertungen, binäre Klassifikationen und paarweise Präferenztests umfassen. Die Ergebnisse zeigen, dass CARE die Aggregationsgenauigkeit um bis zu 26,8 % steigert. Der zugehörige Code ist unter https://github.com/SprocketLab/CARE verfügbar.