Gaming the Judge: LLM-Judges können durch manipulierte Chain-of-Thought täuschen – Forschung warnt

In einer wegweisenden Studie von Forschern auf arXiv wird deutlich, dass große Sprachmodelle (LLMs), die als „Judges“ zur Bewertung von Agenten eingesetzt werden, einer ernsthaften Schwachstelle ausgesetzt sind. Die gängige Praxis, bei der die Bewertung auf den von Agenten erzeugten Chain-of-Thought (CoT)-Erklärungen basiert, setzt voraus, dass diese Erklärungen sowohl die interne Logik des Agenten als auch den tatsächlichen Zustand der Umgebung korrekt widerspiegeln. Die Autoren zeigen, dass diese Annahme brüchig ist.

Durch gezielte Umformulierungen der CoT, während die zugrunde liegenden Aktionen und Beobachtungen unverändert blieben, konnten die Forscher die Fehlerquote der führenden visuellen LLM-Judges um bis zu 90 % steigern – ein Effekt, der sich über 800 verschiedene Web‑Aufgaben erstreckte. Dabei wurden zwei Manipulationsstrategien untersucht: stilistische Änderungen, die lediglich die Präsentation der Argumentation verändern, und inhaltliche Änderungen, die falsche Signale des Fortschritts einbauen. Letztere erwiesen sich konsequent wirksamer.

Die Studie testete zudem, ob erweiterte Prompting‑Techniken oder ein höheres Rechenbudget die Anfälligkeit verringern. Zwar konnten diese Ansätze die Manipulationswirkung abschwächen, jedoch nicht vollständig eliminieren. Das Ergebnis unterstreicht die Notwendigkeit, Bewertungsmechanismen zu entwickeln, die die von LLMs vorgebrachten Argumente systematisch mit beobachtbaren Beweisen abgleichen.

Diese Erkenntnisse markieren einen wichtigen Meilenstein im Verständnis der Grenzen von LLM‑basierten Evaluationen und fordern die Forschung auf, robustere und verifizierbare Bewertungsansätze zu schaffen.