Verlässliche KI-Agenten für elektronische Patientenakten dank Konfidenzschätzung

Große Sprachmodelle (LLMs) zeigen großes Potenzial, um aus elektronischen Patientenakten (EHR) wertvolle Informationen zu extrahieren und klinische Entscheidungen zu unterstützen. In der Praxis stoßen sie jedoch häufig an die Grenze der Zuverlässigkeit, weil sie gelegentlich falsche Aussagen – sogenannte Halluzinationen – erzeugen. Um dieses Problem anzugehen, hat ein Forschungsteam einen neuen Ansatz entwickelt, der die Genauigkeit von KI-Agenten mit ihrer Vertrauenswürdigkeit verknüpft.

Der Schlüssel ist die Kennzahl HCAcc@k% (Hallucination Controlled Accuracy at k %). Sie misst, wie genau ein Modell bei unterschiedlichen Konfidenzschwellen ist und ermöglicht so eine klare Abwägung zwischen Genauigkeit und Zuverlässigkeit. Auf dieser Basis wurde der Agent TrustEHRAgent konzipiert, der bei jeder Antwort eine schrittweise Konfidenzschätzung durchführt. Das bedeutet, dass der Agent nicht nur eine Antwort liefert, sondern gleichzeitig anzeigt, wie sicher er sich dabei ist.

In umfangreichen Tests mit den Datenbanken MIMIC‑III und eICU konnte TrustEHRAgent die Leistung traditioneller Baseline‑Modelle deutlich übertreffen. Bei einer Konfidenzschwelle von 70 % erzielte der Agent Verbesserungen von 44,23 % bzw. 25,34 % gegenüber den Konkurrenzmethoden – ein Ergebnis, das bei den Baselines nicht erreichbar war. Diese Zahlen verdeutlichen, dass herkömmliche Genauigkeitsmetriken allein nicht ausreichen, um die Vertrauenswürdigkeit von KI im Gesundheitswesen zu beurteilen.

Die Arbeit liefert somit einen wichtigen Beitrag zur Entwicklung von klinischen KI-Agenten, die entweder präzise Informationen liefern oder transparent Unsicherheit signalisieren, wenn ihr Vertrauen gering ist. Damit wird ein entscheidender Schritt in Richtung sicherer, verlässlicher KI im Gesundheitsbereich unternommen.