Vision‑Language‑Modelle Röntgenbilder: Hierarchische Bewertung senkt schwere Fehler

Vision‑Language‑Modelle (VLMs) erzielen beeindruckende Zero‑Shot-Leistungen bei der Klassifizierung von Thorax‑Röntgenaufnahmen. Standard‑Flachmetriken zeigen jedoch, dass diese Modelle klinisch bedeutende Fehler nicht von weniger gravierenden unterscheiden können. In einer neuen Studie wird deshalb untersucht, wie Abstraktionsfehler quantifiziert und reduziert werden können, indem medizinische Taxonomien als Leitfaden dienen.

Die Autoren benchmarkten mehrere führende VLMs mit hierarchischen Metriken und führten das Konzept der „Catastrophic Abstraction Errors“ ein, um Fehler zu erfassen, die zwischen verschiedenen Zweigen einer medizinischen Klassifikation auftreten. Die Ergebnisse zeigen, dass die Modelle trotz hoher Flachleistung erheblich von den klinischen Taxonomien abweichen.

Um dieses Problem zu adressieren, schlagen die Forscher zwei Ansätze vor: eine risikobasierte Schwellenwertanpassung und ein taxonomie‑sensitives Feintuning mit radialen Einbettungen. Beide Methoden reduzieren schwere Abstraktionsfehler auf unter 2 % und erhalten gleichzeitig eine konkurrenzfähige Gesamtleistung.

Die Studie unterstreicht die Bedeutung einer hierarchischen Bewertung und einer auf der Repräsentationsschicht ausgerichteten Ausrichtung, um VLMs sicherer und klinisch relevanter einzusetzen. Diese Erkenntnisse sind ein wichtiger Schritt hin zu verantwortungsvoller KI‑Anwendung im Gesundheitswesen.