Benchmark‑Gap bei Gesundheits‑LLMs: Analyse zeigt fehlende klinische Relevanz

Eine neue Analyse aus dem arXiv‑Repository hat einen gravierenden „Validity Gap“ in den gängigen Benchmarks für medizinische Sprachmodelle aufgedeckt. Die Untersuchung bezieht sich auf 18.707 Konsumenten‑Health‑Anfragen, die über sechs öffentliche Testdatensätze hinweg gesammelt wurden.

Die Forscher setzten große Sprachmodelle ein, um die Anfragen automatisch anhand einer 16‑Feld‑Taxonomie zu klassifizieren. Diese Taxonomie erfasst Kontext, Thema und Intention der Fragen und ermöglicht so eine standardisierte Profilierung der Inhalte.

Die Ergebnisse zeigen, dass die Benchmarks zwar von statischen Suchaufgaben zu interaktiven Dialogen übergegangen sind, die Zusammensetzung jedoch immer noch weit von den realen klinischen Anforderungen entfernt ist. Nur 42 % der Anfragen enthielten objektive Daten, und diese konzentrierten sich überwiegend auf Wellness‑Wearables (17,7 %). Komplexe diagnostische Eingaben wie Laborwerte (5,2 %), Bildgebung (3,8 %) oder rohe medizinische Aufzeichnungen (0,6 %) sind stark unterrepräsentiert. Szenarien mit hoher Sicherheitsrelevanz – etwa Suizid‑ oder Selbstverletzungsanfragen – machen weniger als 0,7 % aus, und chronische Krankheitsmanagement‑Anfragen liegen bei lediglich 5,5 %. Darüber hinaus sind vulnerable Gruppen wie Kinder und ältere Menschen in den Datensätzen unter 11 % vertreten, während globale Gesundheitsbedürfnisse kaum berücksichtigt werden.

Die Studie kommt zu dem Schluss, dass aktuelle Evaluationsbenchmarks die klinische Realität nicht adäquat abbilden. Es fehlt an rohen klinischen Artefakten, an einer ausgewogenen Repräsentation vulnerabler Bevölkerungsgruppen und an Langzeit‑Szenarien für chronische Erkrankungen. Um die Einsatzbereitschaft von Gesundheits‑LLMs zu erhöhen, fordern die Autoren die Einführung einer standardisierten Query‑Profilierung – ähnlich den Berichtspflichten in klinischen Studien – um die Transparenz und Vergleichbarkeit der Benchmarks zu verbessern.