Neue Messmethode zeigt, wie vielfältig LLMs wirklich sind

Eine neue Studie aus dem arXiv-Repository präsentiert ein innovatives Verfahren zur Messung des Overton-Pluralismus in großen Sprachmodellen (LLMs). Der OvertonScore, ein Set-Coverage-Metrik, quantifiziert, wie gut verschiedene Perspektiven in den Ausgaben der Modelle vertreten sind.

Die Untersuchung umfasste 1.209 US-amerikanische Teilnehmer, 60 Fragen und acht unterschiedliche LLMs. Im Durchschnitt erreichten die Modelle OvertonScores zwischen 0,35 und 0,41 – ein deutliches Signal, dass noch viel Raum für Verbesserungen besteht, da der theoretische Maximalwert bei 1,0 liegt. DeepSeek V3 zeigte dabei die höchste Punktzahl.

Da wiederholte groß angelegte menschliche Studien teuer und zeitaufwendig sind, entwickelte das Team ein automatisiertes Benchmarking-Tool, das die menschlichen Bewertungen mit einer Rangkorrelation von ρ = 0,88 nachahmt. Dieses Tool bietet Entwicklern eine praktikable Alternative, um die Pluralität ihrer Modelle zu evaluieren, ohne auf umfangreiche menschliche Tests angewiesen zu sein.

Durch die Umwandlung des pluralistischen Ausrichtungsziels in ein messbares Benchmark schafft die Arbeit eine solide Basis für systematischen Fortschritt hin zu vielfältigeren und ausgewogeneren Sprachmodellen.