CURE: Neuer Benchmark trennt multimodales klinisches Verständnis von Retrieval

Ein neues Forschungswerkzeug namens CURE (Clinical Understanding and Retrieval Evaluation) wurde vorgestellt, um die Leistungsfähigkeit multimodaler Sprachmodelle (MLLMs) im medizinischen Bereich genauer zu untersuchen. CURE besteht aus 500 klinischen Fallstudien, die jeweils mit von Ärzten zitierten Fachliteraturquellen verknüpft sind. Durch die kontrollierte Bereitstellung von Beweismaterial kann das System die Fähigkeiten der Modelle in Bezug auf klinisches Denken und die Fähigkeit, relevante Literatur zu finden, getrennt bewerten.

Die Untersuchung zeigte deutlich, dass fortschrittliche MLLMs in der Lage sind, komplexe klinische Fragestellungen zu lösen, wenn sie mit den korrekten Referenzen versorgt werden. In solchen Szenarien erreichten die Modelle bis zu 73,4 % Genauigkeit bei der Differentialdiagnose. In starkem Kontrast dazu fiel die Leistung drastisch, wenn die Modelle selbstständig nach Belegen suchen mussten – die Genauigkeit sank auf lediglich 25,4 %.

Diese Ergebnisse unterstreichen die Notwendigkeit, sowohl die multimodale Integration von Bild- und Textdaten als auch die Retrieval-Fähigkeiten von Sprachmodellen zu verbessern. CURE bietet Forschern eine strukturierte Plattform, um diese beiden Aspekte getrennt zu analysieren und gezielt zu optimieren. Das Benchmark-Set ist öffentlich zugänglich unter https://github.com/yanniangu/CURE.