MedCalc-Bench: Benchmark misst nicht, was erwartet – Open‑Book liefert 85 %

Der bislang populäre MedCalc‑Bench, der die Leistungsfähigkeit von Sprachmodellen bei klinischen Rechenaufgaben misst, liefert laut einer neuen Studie überraschend niedrige Ergebnisse. Während direkte Prompting‑Methoden bei der Verified‑Split‑Version des HELM MedHELM‑Leaderboards bei etwa 35 % liegen, erreichte die beste veröffentlichte RL‑Strategie lediglich 74 %.

Die Autoren haben zunächst eine systematische Prüfung der im Benchmark eingesetzten Rechenprogramme durchgeführt und mehr als 20 Fehler entdeckt – von gravierenden Formel‑Unstimmigkeiten bis hin zu Laufzeit‑Bugs in einem NeurIPS‑veröffentlichten Datensatz. Nach der Korrektur dieser Fehler stieg die Basisgenauigkeit von Modellen wie GLM‑4.6V und GLM‑4.7 von rund 52 % auf beeindruckende 81 – 85 %.

Der entscheidende Faktor war die Einführung eines „Open‑Book“-Ansatzes: Das Modell erhält zur Inferenzzeit die vollständige Spezifikation des Rechners. Dadurch konnte die Genauigkeit ohne jegliches Fine‑Tuning auf ein neues Niveau gehoben werden, das sämtliche bisherigen Publikationen, einschließlich RL‑trainierter Systeme, übertrifft. Mit dem GPT‑5.2‑Thinking‑Modell wurde sogar ein theoretisches Maximum von 95 – 97 % erreicht, wobei die verbleibenden Fehler hauptsächlich auf Ungenauigkeiten in den Referenzdaten und Unklarheiten im Datensatz zurückzuführen sind.

Die Ergebnisse legen nahe, dass MedCalc‑Bench vor allem die Fähigkeit zur Formel‑Memorierung und arithmetischen Präzision misst, weniger die klinische Entscheidungsfindung. Ein Umbenennen des Benchmarks in ein Tool‑Use‑Evaluation könnte daher die tatsächliche Nützlichkeit für medizinische Anwendungen besser widerspiegeln.