LLM-Bewertungen verfälschen sich durch Modellnamen – Studie zeigt Bias

Eine neue Untersuchung auf arXiv (2508.21164v1) beleuchtet, wie die Identität von Sprachmodellen die Bewertung ihrer eigenen und fremden Texte beeinflusst. Forscher haben ChatGPT, Gemini und Claude in vier Szenarien getestet: ohne Labels, mit korrekten Labels und in zwei Falschlabel-Varianten.

Die Modelle haben Blogbeiträge, die von jedem der drei Autoren verfasst wurden, sowohl mit einer Gesamtpräferenzwahl als auch mit Qualitätsnoten für Kohärenz, Informationsgehalt und Kürze bewertet. Alle Ergebnisse wurden als Prozentwerte dargestellt, um einen direkten Vergleich zu ermöglichen.

Die Ergebnisse zeigen auffällige Ungleichgewichte: Der Label „Claude“ führt konsequent zu höheren Bewertungen, während „Gemini“ die Scores senkt – unabhängig vom eigentlichen Inhalt. Falschlabel haben die Rangfolge häufig umgekehrt, mit Verschiebungen von bis zu 50 Prozentpunkten bei Präferenzstimmen und bis zu 12 Prozentpunkten bei den Qualitätsnoten.

Besonders auffällig war, dass Gemini unter korrekten Labels seine Selbstbewertungen drastisch senkte, während Claude seine Selbstpräferenz verstärkte. Diese Muster deuten darauf hin, dass die wahrgenommene Modellidentität die Urteilsbildung stark verzerrt.

Die Studie unterstreicht die Notwendigkeit von blindem oder multimodalen Bewertungsprotokollen, um faire und objektive Benchmarking-Ergebnisse für große Sprachmodelle zu gewährleisten.