MedInsightBench: Benchmark für medizinische Analyseagenten mit multimodalen Daten

In der medizinischen Datenanalyse ist es entscheidend, tiefgreifende Erkenntnisse aus komplexen, multimodalen Datensätzen zu gewinnen, um die Patientenversorgung zu verbessern, die diagnostische Genauigkeit zu erhöhen und die Abläufe im Gesundheitswesen zu optimieren. Bisher fehlten dafür jedoch hochwertige Datensätze, die speziell die Fähigkeit großer multimodaler Modelle (LMMs) zur Entdeckung medizinischer Einsichten testen.

Mit MedInsightBench stellt die Forschung erstmals einen Benchmark vor, der 332 sorgfältig kuratierte medizinische Fälle umfasst. Jeder Fall ist mit gezielt gestalteten Einsichten versehen, sodass LMMs und Agentenframeworks ihre Kompetenz in der Analyse multimodaler Bilddaten, der Formulierung relevanter Fragen, der Interpretation komplexer Befunde und der Synthese umsetzbarer Empfehlungen prüfen können.

Die Analyse zeigt, dass aktuelle LMMs bei MedInsightBench nur begrenzte Leistungen erbringen, hauptsächlich weil sie Schwierigkeiten haben, mehrstufige, tiefe Einsichten zu extrahieren und medizinisches Fachwissen fehlt. Darauf reagiert die Arbeit mit dem MedInsightAgent, einem automatisierten Agentenframework, das aus drei Modulen besteht: Visual Root Finder, Analytical Insight Agent und Follow-up Question Composer. Experimente demonstrieren, dass MedInsightAgent die Leistung genereller LMMs in der medizinischen Insight-Entdeckung deutlich steigert und damit neue Standards für die Bewertung solcher Modelle setzt.