Benchmark Health Index: Systematisches Rahmenwerk zur LLM-Benchmark-Bewertung

Die rasante Entwicklung großer Sprachmodelle (LLMs) steht im Widerspruch zu den zunehmend unzuverlässigen Messinstrumenten, die ihren Fortschritt bewerten. Inflationsgeprägte Scores und selektive Berichterstattung haben das Vertrauen in etablierte Benchmarks erschüttert und die Community in die Frage gestellt, welche Ergebnisse noch glaubwürdig sind.

In diesem Kontext präsentiert der neue arXiv-Preprint „Benchmark Health Index“ (BHI) ein rein datenbasiertes Prüfverfahren, das Evaluationssets entlang dreier orthogonaler Achsen bewertet: Capability Discrimination misst, wie deutlich ein Benchmark die Leistung von Modellen über Rauschen hinweg trennt; Anti‑Saturation schätzt den verbleibenden Spielraum vor dem Eintreten von Ceiling‑Effekten, die die Auflösung mindern; und Impact quantifiziert die Reichweite und den Einfluss eines Benchmarks in akademischen und industriellen Kreisen.

Die Autoren haben 106 validierte Benchmarks aus den technischen Berichten von 91 repräsentativen Modellen im Jahr 2025 extrahiert und damit die gesamte Evaluationslandschaft systematisch kartiert. Der BHI ist damit das erste Instrument, das die „Gesundheit“ von Benchmarks auf Makroebene misst und damit eine fundierte Grundlage für die Auswahl geeigneter Tests liefert.

Durch die Bereitstellung eines klaren, quantitativen Rahmens ermöglicht der BHI nicht nur die gezielte Auswahl von Benchmarks, sondern auch ein dynamisches Lifecycle‑Management für zukünftige Evaluationsprotokolle. Damit wird ein entscheidender Schritt unternommen, um die Messbarkeit und Zuverlässigkeit der Fortschritte in der LLM‑Forschung nachhaltig zu verbessern.