Wissenschaftliche Bewertung von KI erfordert Daten auf Item‑Ebene

KI‑Evaluierungen sind heute das zentrale Beweismittel für den Einsatz generativer Systeme in hochriskanten Bereichen. Trotz ihrer Bedeutung zeigen aktuelle Bewertungsparadigmen systematische Validitätsfehler, die von unbegründeten Designentscheidungen bis hin zu missverstandenen Messgrößen reichen.

Ein Hauptgrund für diese Schwächen ist das Fehlen von Daten auf Item‑Ebene. Ohne detaillierte Informationen zu einzelnen Testaufgaben können Fehlerquellen nicht präzise diagnostiziert und korrigiert werden.

Die Einführung von Item‑Level Benchmark‑Daten eröffnet die Möglichkeit, KI‑Modelle feingranular zu analysieren und Benchmarks auf einer fundierten, evidenzbasierten Basis zu validieren. Durch die Untersuchung von Item‑Eigenschaften und latenten Konstrukten lassen sich bislang verborgene Muster und Schwachstellen aufdecken.

Ein konkretes Beispiel zeigt, wie die Analyse einzelner Items neue Einsichten liefert, die bei aggregierten Messungen verborgen bleiben. Diese Erkenntnisse unterstreichen die Notwendigkeit, Bewertungsdaten auf der Ebene der einzelnen Aufgaben zu erfassen.

Zur Förderung einer breiten Anwendung dieser Methode wurde OpenEval ins Leben gerufen – ein wachsendes Repository, das Item‑Level Benchmark‑Daten sammelt und für die KI‑Bewertung bereitstellt. OpenEval bietet Forschern und Entwicklern die Werkzeuge, um evidenzbasierte Evaluierungen durchzuführen.

Die Community wird aufgefordert, OpenEval zu nutzen, weiterzuentwickeln und damit die Wissenschaft der KI‑Bewertung auf ein neues, rigoroses Niveau zu heben.