Neues Benchmark zeigt Schwächen von LLMs bei mehrstufiger medizinischer Diagnostik

Wissenschaftler haben ein neues, zweisprachiges Benchmark namens ShatterMed‑QA entwickelt, das die Fähigkeit großer Sprachmodelle (LLMs) auf mehrstufige medizinische Diagnosen prüft. Während die Modelle bei einfachen Faktenabfragen exzellent abschneiden, zeigen sie bei komplexen, mehrschichtigen Entscheidungsprozessen erhebliche Schwächen.

Der Hauptgrund für diese Defizite ist das Phänomen des „Shortcut Learning“. LLMs nutzen dabei stark vernetzte, generische Knoten wie „Entzündung“ in Wissensgraphen, um die eigentliche diagnostische Kette zu umgehen. ShatterMed‑QA verhindert diese Abkürzungen, indem es einen topologisch regulierten medizinischen Wissensgraphen mit einem neuartigen k‑Shattering‑Algorithmus erstellt, der solche generischen Hubs gezielt entfernt.

Zusätzlich werden die Testfragen durch implizites Maskieren von Brücken-Entitäten und topologie‑gesteuertes Hard‑Negative‑Sampling erschwert. Dadurch müssen die Modelle echte, biologisch plausible Ablenkungen durchschreiten, anstatt auf oberflächliche Hinweise zu setzen. In umfangreichen Tests mit 21 LLMs zeigte sich ein drastischer Leistungsabfall bei den mehrstufigen Aufgaben, insbesondere bei domänenspezifischen Modellen.

Erfreulicherweise kann die Leistung durch Retrieval‑Augmented Generation (RAG) nahezu vollständig wiederhergestellt werden, was die strukturelle Genauigkeit von ShatterMed‑QA bestätigt und die diagnostischen Defizite der aktuellen medizinischen KI aufzeigt. Das Datenset, interaktive Beispiele und die vollständigen Leaderboards sind unter https://shattermed-q… verfügbar.