Neues KI-System prognostiziert chronische Erkrankungen mit Bild- und Textfusion

Angesichts der steigenden weltweiten Belastung durch chronische Krankheiten und der Vielzahl heterogener klinischer Daten – von medizinischen Bildern über freitextliche Aufzeichnungen bis hin zu Wearable-Sensoren – präsentiert die Forschung ein neues, einheitliches multimodales KI-Framework. Das System, genannt VL‑RiskFormer, kombiniert visuelle und sprachliche Informationen, um individuelle Gesundheitsrisiken frühzeitig vorherzusagen.

VL‑RiskFormer nutzt eine hierarchisch gestapelte Transformer-Architektur, die auf bestehenden visuellen‑linguistischen Modellen wie PaLM‑E und LLaVA aufbaut. Es integriert vier zentrale Innovationen: Erstens erfolgt das Pre‑Training durch kreuzmodalen Vergleich und feinkörnige Ausrichtung von Röntgenbildern, Fundus‑Scans und Fotos von Wearables mit den zugehörigen klinischen Texten, wobei Momentum‑Encoder und ein ausgeglichener InfoNCE‑Loss eingesetzt werden. Zweitens fügt ein Time‑Fusion‑Block unregelmäßige Besuchssequenzen in den causalen Transformer‑Decoder ein, indem adaptive Zeitintervall‑Positionskodierungen verwendet werden. Drittens wird ein Ontologie‑Mapper für ICD‑10‑Codes in die visuellen und textuellen Kanäle injiziert, wodurch Komorbiditätsmuster mithilfe eines Graph‑Attention‑Mechanismus erkannt werden.

In einer Langzeitstudie mit der MIMIC‑IV‑Kohorte erreichte VL‑RiskFormer einen durchschnittlichen AUROC von 0,90 und einen erwarteten Kalibrierungsfehler von 2,7 %. Diese Ergebnisse zeigen, dass die Kombination aus Bild‑ und Textfusion sowie großen Sprachmodellen ein vielversprechendes Werkzeug zur frühzeitigen Erkennung von Gesundheitsrisiken darstellt.