Sybil-Modelle: Interventionsbasierte Audits decken Lungenkrebs‑Risiken auf

Lungenkrebs bleibt die häufigste Todesursache bei Krebserkrankungen und treibt die Entwicklung automatisierter Screening‑Tools an, um Radiologen zu entlasten. Im Mittelpunkt dieser Bemühungen steht Sybil, ein Deep‑Learning‑Modell, das das zukünftige Risiko ausschließlich aus Computertomographien (CT) mit hoher Genauigkeit vorhersagen kann. Trotz umfangreicher klinischer Validierung beruhen die bisherigen Bewertungen jedoch ausschließlich auf beobachtenden Metriken.

Ein reines Korrelations‑Ansatz vernachlässigt die eigentliche Entscheidungslogik des Modells. Deshalb ist ein kausaler Prüfansatz unerlässlich, um robuste Entscheidungen vor dem klinischen Einsatz sicherzustellen. Wir stellen S(H)NAP vor – ein modellagnostisches Auditing‑Framework, das generative Interventionsattributionen erzeugt, die anschließend von erfahrenen Radiologen validiert werden.

Durch die Nutzung realistischer 3‑D‑Diffusions‑Brückenmodellierung werden gezielt anatomische Merkmale verändert, um kausale Beiträge zum Risikoscore zu isolieren. Die erste interventional Audits von Sybil zeigen, dass das Modell häufig wie ein Radiologe arbeitet und zwischen malignen und benignen Lungenknoten unterscheidet, jedoch kritische Fehler aufweist: eine gefährliche Sensitivität gegenüber klinisch nicht begründeten Artefakten und ein ausgeprägter radialer Bias.

Diese Ergebnisse unterstreichen die Notwendigkeit, nicht nur die Leistung, sondern auch die Entscheidungswege von KI‑Modellen zu verstehen, bevor sie in der klinischen Praxis eingesetzt werden.