LLM-Bewertungen als Richter: Wie zuverlässig sind sie für interpretative Antworten?

Qualitative Forscherinnen und Forscher nutzen zunehmend automatisierte Werkzeuge, um interpretative Analysen zu unterstützen. Dabei werden große Sprachmodelle (LLMs) häufig ohne gründliche Bewertung ihrer Interpretationsqualität in den Analyseprozess eingebunden. Das neue arXiv‑Studium untersucht, ob LLM‑basierte „Judge“-Bewertungen tatsächlich mit menschlichen Urteilen übereinstimmen und ob sie bei der Auswahl des passenden Modells helfen können.

Die Untersuchung stützt sich auf 712 Gesprächsabschnitte aus halbstrukturierten Interviews mit Grundschullehrkräften. Für jeden Abschnitt wurden ein‑Satz‑Interpretationen mit fünf populären Modellen erzeugt: Command R+ (Cohere), Gemini 2.5 Pro (Google), GPT‑5.1 (OpenAI), Llama 4 Scout‑17B Instruct (Meta) und Qwen 3‑32B Dense (Alibaba). Anschließend wurden die Antworten mit dem AWS Bedrock LLM‑as‑Judge‑Framework anhand von fünf Metriken bewertet, während ein ausgewählter Teil von erfahrenen menschlichen Gutachtern auf Genauigkeit, Nuancen und Kohärenz geprüft wurde.

Die Ergebnisse zeigen, dass die automatischen Bewertungen die allgemeinen Tendenzen der menschlichen Urteile auf Modellebene erkennen, jedoch in der Größenordnung deutlich abweichen. Besonders die Kohärenz‑Metrik korreliert stark mit den aggregierten menschlichen Bewertungen, während Faithfulness und Correctness bei nicht‑literalen und nuancierten Interpretationen systematisch schlechter abschneiden. Diese Erkenntnisse unterstreichen, dass die Auswahl des Modells einen wesentlichen Einfluss auf die Qualität interpretativer Analysen hat und dass automatisierte Bewertungen zwar wertvolle Hinweise liefern, aber nicht die menschliche Expertise ersetzen können.