XpertBench: Neue Benchmark für Expertenaufgaben mit Rubrik-basierten Bewertungen

Während große Sprachmodelle bei klassischen Tests an ihre Grenzen stoßen, eröffnet XpertBench einen neuen Maßstab für die Bewertung echter Expertenkompetenz. Das Tool richtet sich an komplexe, offene Aufgaben, die echtes Fachwissen erfordern, und bietet damit einen vielversprechenden Ansatz, um die Leistungsfähigkeit moderner LLMs realitätsnah zu messen.

Der Kern von XpertBench besteht aus 1 346 sorgfältig kuratierten Aufgaben, die in 80 Kategorien verteilt sind – von Finanzen, Gesundheitswesen und Recht bis hin zu Bildung, Naturwissenschaften und Geisteswissenschaften. Jede Aufgabe stammt aus über 1 000 Einreichungen von Fachleuten, darunter renommierte Forscher und erfahrene Praktiker, was die ökologische Validität des Benchmarks deutlich erhöht.

Zur Bewertung setzen die Entwickler auf detaillierte Rubriken mit 15 bis 40 gewichteten Prüfpunkten, die die fachliche Tiefe jeder Aufgabe abbilden. Ergänzend dazu wurde ShotJudge eingeführt, ein neues Evaluationsparadigma, bei dem LLM-Judges mit wenigen, expertengestützten Beispielen kalibriert werden, um Selbstbewertungs‑Bias zu minimieren und eine menschlich ausgerichtete Bewertung zu gewährleisten.

Die ersten Tests mit führenden Sprachmodellen zeigen, dass selbst die besten Modelle eine Spitzenleistung von nur etwa 66 % erreichen und im Durchschnitt rund 55 % erzielen. Darüber hinaus weisen die Modelle deutliche domänenspezifische Unterschiede auf: quantitative Analysen und sprachliche Synthese werden unterschiedlich gut gemeistert, was die Notwendigkeit einer differenzierten Bewertung unterstreicht.