Neues Benchmark CP-Env testet KI-Modelle in dynamischen Klinikpfaden

Die medizinische Versorgung folgt komplexen Pfaden, die weit über einzelne Arzt‑Patienten‑Interaktionen hinausgehen. Um große Sprachmodelle (LLMs) in solchen dynamischen Szenarien zu prüfen, hat ein Forschungsteam das neue CP‑Env entwickelt – ein kontrollierbares, agentenbasiertes Krankenhaus‑Umfeld, das komplette klinische Abläufe simuliert.

CP‑Env stellt Patienten‑ und Arzt‑Agenten bereit und erzeugt realistische Situationen von der Ersttriage über Facharzt‑Konsultationen bis hin zu diagnostischen Tests und multidisziplinären Team‑Meetings. Durch die Möglichkeit, Pfade zu verzweigen und Aufgaben über lange Zeiträume zu verfolgen, spiegelt das System die adaptive Natur echter Kliniken wider.

Zur Bewertung wurden drei Ebenen definiert: klinische Wirksamkeit, Prozesskompetenz und professionelle Ethik. Die ersten Tests zeigen, dass viele Modelle bei der Bewältigung der Pfadkomplexität an ihre Grenzen stoßen, häufig Halluzinationen erzeugen und wichtige diagnostische Details verlieren. Interessanterweise kann ein übermäßiges Rechnen manchmal kontraproduktiv sein, während die besten Modelle weniger auf externe Tools angewiesen sind und ihr Wissen intern verankern.

CP‑Env bietet damit ein umfassendes, end‑to‑end‑Benchmarking für medizinische KI‑Agenten und stellt die Benchmark sowie die Evaluationswerkzeuge auf GitHub zur Verfügung, um die Weiterentwicklung in diesem wichtigen Forschungsfeld zu fördern.