Neues Benchmark ClinDet-Bench prüft, ob KI bei unvollständigen Daten richtig abstimmt

In der klinischen Praxis müssen Entscheidungen oft unter unvollständigen Informationen getroffen werden. Fachärzte beurteilen dabei, ob die vorhandenen Daten ausreichend sind, um ein Urteil zu fällen – ein zu frühes Fazit oder eine übermäßige Zurückhaltung kann die Sicherheit der Patienten gefährden.

Um diese Fähigkeit großer Sprachmodelle (LLMs) zu prüfen, wurde ClinDet-Bench entwickelt. Das Benchmark nutzt etablierte klinische Scoring‑Systeme und teilt Szenarien in determinierbare und undeterminierbare Fälle auf. Dabei muss das Modell sämtliche Hypothesen zu fehlenden Informationen, auch unwahrscheinliche, berücksichtigen und prüfen, ob das Ergebnis unter allen Annahmen konsistent bleibt.

Die Untersuchung zeigt, dass aktuelle LLMs Schwierigkeiten haben, die Determinierbarkeit korrekt zu erkennen. Sie liefern sowohl zu frühzeitig Entscheidungen als auch übermäßige Abstentionsraten, obwohl sie die zugrunde liegenden Scoring‑Kenntnisse gut erklären und bei vollständigen Daten gute Leistungen erbringen. Diese Ergebnisse deuten darauf hin, dass bestehende Benchmarks die Sicherheit von KI‑Systemen im medizinischen Kontext nicht ausreichend abbilden.

ClinDet-Bench bietet daher ein neues Rahmenwerk, um die Erkennung von Determinierbarkeit und damit die angemessene Abstention zu bewerten. Das Tool ist öffentlich zugänglich und kann nicht nur in der Medizin, sondern auch in anderen hochriskanten Bereichen eingesetzt werden, um die Zuverlässigkeit von KI‑Entscheidungen zu erhöhen.