MedConsultBench: Vollständiger Benchmark für medizinische Beratungsagenten
Die Bewertung von medizinischen Beratungsagenten konzentriert sich bislang überwiegend auf das Endergebnis. Dabei bleiben wichtige Aspekte wie die Integrität des gesamten Prozesses und die klinische Sicherheit oft unberücksichtigt. Interaktive Benchmarks haben zwar dynamische Szenarien eingeführt, jedoch bleiben sie meist fragmentiert und zu grob, um die strukturierte Fragelogik und diagnostische Strenge professioneller Konsultationen abzubilden.
Mit MedConsultBench wird ein umfassendes Rahmenwerk vorgestellt, das den gesamten Online‑Konsultationszyklus abbildet – von der Anamnese über die Diagnose bis hin zur Therapieplanung und dem Follow‑Up. Das Konzept nutzt Atomic Information Units (AIUs), um die Erfassung klinischer Informationen auf Sub‑Turn-Ebene zu verfolgen. Auf dieser Basis werden 22 feingranulare Metriken definiert, die die Effizienz und Präzision der Informationsgewinnung genau messen.
Der Benchmark legt besonderen Wert auf eine Unsicherheits‑bewusste, aber prägnante Befragung, die Kompatibilität von Medikationsplänen prüft und die Fähigkeit zur realistischen Nachverfolgung von Fragen nach der Verschreibung durch regelkonforme Planrevisionen bewertet. So wird die klinische Praxisnähe der Agenten deutlich stärker gefordert.
Eine systematische Analyse von 19 großen Sprachmodellen zeigt, dass eine hohe diagnostische Genauigkeit häufig von erheblichen Schwächen in der Informationsgewinnung und Medikationsicherheit begleitet wird. Diese Erkenntnisse unterstreichen die Kluft zwischen theoretischem medizinischem Wissen und praktischer Anwendung. MedConsultBench bietet damit eine solide Grundlage, um diese Lücke zu schließen und die Entwicklung sicherer, prozessbewusster medizinischer Agenten voranzutreiben.