Qworld: Fragenbasierte Bewertungskriterien für große Sprachmodelle

Die neue Methode Qworld (One‑Question‑One‑World) löst ein langjähriges Problem bei der Bewertung von großen Sprachmodellen: die Qualität von Antworten hängt stark vom Kontext der Frage ab. Statt starrer, dataset‑weiter Rubriken erzeugt Qworld für jede einzelne Frage ein maßgeschneidertes Bewertungssystem. Durch einen rekursiven Expansionsbaum werden Fragen in Szenarien, Perspektiven und fein abgestufte binäre Kriterien zerlegt, sodass genau definiert wird, welche Aspekte eine hochwertige Antwort abdecken muss.

In einer Testreihe mit dem Gesundheits‑Benchmark HealthBench deckt Qworld 89 % der von Experten erstellten Kriterien ab und liefert zusätzlich 79 % neu generierte Kriterien, die von Fachleuten als valide bestätigt wurden. Experten bewerten die von Qworld erstellten Kriterien als einsehbarer und detaillierter als die bisherigen Ansätze.

Die Anwendung von Qworld auf elf führende Sprachmodelle in HealthBench sowie im „Humanity’s Last Exam“ zeigte deutliche Unterschiede in Bereichen wie langfristige Auswirkungen, Gerechtigkeit, Fehlerbehandlung und interdisziplinäres Denken – Aspekte, die herkömmliche, grobe Rubriken nicht differenzieren konnten. Durch die strukturierte Abdeckung der von jeder Frage implizierten Bewertungsebenen ermöglicht Qworld eine an die jeweilige Frage angepasste, präzisere Evaluation von Sprachmodellen.