LiveMedBench: Kontaminationsfreies, wöchentlich aktualisiertes Med‑Benchmark

Die neue Plattform LiveMedBench setzt neue Maßstäbe für die Bewertung großer Sprachmodelle (LLMs) im medizinischen Bereich. Sie löst zwei zentrale Schwachstellen bestehender Benchmarks – Datenkontamination und zeitliche Diskrepanz – und bietet gleichzeitig ein automatisiertes, rubrikbasiertes Bewertungssystem.

Aktuelle medizinische Benchmarks leiden häufig unter der Leckage von Testdaten in Trainingskorpora, was die Leistungsangaben verzerrt. Zudem spiegeln sie nicht die rasante Weiterentwicklung medizinischen Wissens wider, da die Daten nicht zeitlich getrennt sind. Auch die üblichen Metriken wie ROUGE oder subjektive LLM‑als‑Judge-Scoring reichen nicht aus, um klinische Richtigkeit zuverlässig zu prüfen.

LiveMedBench sammelt wöchentlich echte klinische Fälle aus Online‑Medizin‑Communities und garantiert damit eine strikte zeitliche Trennung von Trainingsdaten. Ein Multi‑Agent Clinical Curation Framework filtert Rohdaten, entfernt Rauschen und validiert die klinische Integrität anhand evidenzbasierter Prinzipien.

Für die Bewertung wurde ein Automated Rubric‑based Evaluation Framework entwickelt, das die Antworten von Ärzten in feinkörnige, fallbezogene Kriterien zerlegt. Dieses System erzielt eine deutlich höhere Übereinstimmung mit Expertenärzten als herkömmliche LLM‑als‑Judge‑Ansätze.

Derzeit umfasst LiveMedBench 2.756 reale Fälle aus 38 medizinischen Fachgebieten und mehreren Sprachen, ergänzt durch 16.702 eindeutige Bewertungskriterien. In umfangreichen Tests wurden 38 LLMs evaluiert – selbst das bestperformende Modell erreicht noch nicht die gewünschte klinische Präzision.

LiveMedBench bietet damit eine robuste, kontinuierlich aktualisierte Testumgebung, die die Entwicklung und Feinabstimmung von LLMs im Gesundheitswesen beschleunigt und gleichzeitig die Sicherheit und Zuverlässigkeit klinischer Anwendungen erhöht.