KI nutzt synthetische Kliniknotizen zur Verbesserung multimodaler Diagnosen
In der medizinischen Künstlichen Intelligenz gewinnt multimodales Lernen zunehmend an Bedeutung, weil es Bilddaten mit ergänzenden Textinformationen verknüpft und dadurch ein umfassenderes Bild der Patientenlage liefert. Ein großes Hindernis bleibt jedoch die Knappheit heterogener Datensätze, insbesondere in der Dermatologie, wo Bildsammlungen meist nur mit minimalen Metadaten versehen sind. Durch die jüngsten Fortschritte bei großen Sprachmodellen (LLMs) ist es nun möglich, aus Bildbeschreibungen synthetische klinische Notizen zu generieren. Diese Technik eröffnet die Chance, Bild- und Textrepräsentationen zu kombinieren, birgt jedoch das Risiko von Halluzinationen in klinisch relevanten Kontexten.