Kalibrierung als Schlüssel zur gerechten KI-Analyse bei Hautkrebsdiagnose

KI‑Modelle haben bereits ein Expertenniveau bei der Melanom‑Erkennung erreicht, doch ihre klinische Einführung bleibt durch Leistungsunterschiede zwischen Geschlecht, Rasse und Alter gehemmt. Bisher wurden Modelle vor allem anhand von AUROC‑Metriken bewertet, die zwar die Trennkraft messen, aber keine Aussage über die Genauigkeit der Vorhersagewahrscheinlichkeiten treffen.

In dieser Studie wird die Kalibrierung als ergänzende Benchmark‑Metrik eingeführt. Sie prüft, wie gut die prognostizierten Risikowahrscheinlichkeiten mit den tatsächlich beobachteten Ereignissen übereinstimmen und liefert damit tiefergehende Einblicke in subgruppenspezifische Verzerrungen.

Die Autoren analysieren den führenden Algorithmus des ISIC‑2020‑Challenges auf dem ISIC‑2020‑Datensatz sowie dem PROVE‑AI‑Datensatz und vergleichen ihn mit den zweithöchsten und drittplatzierten Modellen. Dabei werden die Ergebnisse nach Geschlecht, Hauttyp (Fitzpatrick‑Skin‑Tone) und Alter differenziert.

Die Ergebnisse zeigen, dass die Modelle zwar die diskriminative Genauigkeit steigern, jedoch häufig das Krebsrisiko überschätzen und bei neuen Datensätzen Kalibrierungsprobleme aufweisen. Das verdeutlicht, dass reine AUROC‑Messungen unzureichend sind und umfassende Audits sowie umfangreiche Metadaten nötig sind, um faire KI‑Lösungen im Gesundheitswesen zu gewährleisten.

Alle Code‑Dateien sind öffentlich zugänglich unter https://github.com/bdominique/testing_st.