Robuste medizinische Vision‑Language‑Modelle mit Multi‑Modal Reconstruction

In einer neuen Studie wird ein selbstüberwachtes Vortrainingsverfahren vorgestellt, das medizinische Vision‑Language‑Modelle gezielt gegen Domänenverschiebungen stärkt. Das Konzept, genannt Robust‑Multi‑Modal Masked Reconstruction (Robust‑MMR), integriert gezielt Robustheitsziele in die Maskierungs‑ und Rekonstruktionsschritte, um domäneninvariante Repräsentationen zu erzeugen.

Robust‑MMR kombiniert drei Kernkomponenten: asymmetrische, störungsbewusste Maskierung, Regularisierung der Domänenkonsistenz und Modality‑Resilienz‑Constraints. Diese Elemente fördern die Fähigkeit der Modelle, bei unterschiedlichen Bildgebungsgeräten, Aufnahmetechniken und Berichtsstilen stabile Leistungen zu erbringen.

Die Wirksamkeit wurde an mehreren medizinischen Vision‑Language‑Benchmarks getestet. Bei der cross‑Domain‑Visual‑Question‑Answering‑Aufgabe VQA‑RAD erzielte Robust‑MMR 78,9 % Genauigkeit – 3,8 % besser als der stärkste Baseline. Für SLAKE und VQA‑2019 erreichte das Verfahren 74,6 % bzw. 77,0 % Genauigkeit. Unter simulierten Störungen stieg die Genauigkeit bei VQA‑RAD von 69,1 % auf 75,6 %.

Im Bereich der Bild‑Text‑Klassifikation verbesserte Robust‑MMR die cross‑Domain‑Genauigkeit bei MELINDA von 70,3 % auf 75,2 %. Bei Bild‑Text‑Retrieval‑Experimenten senkte das Modell die durchschnittliche Rangdegradation unter Störungen von über 16 auf lediglich 4,1.

Qualitative Analysen zeigen, dass die Modelle nicht nur numerisch besser abschneiden, sondern auch die klinische Argumentation in den generierten Antworten deutlich präziser und konsistenter gestalten. Diese Fortschritte markieren einen wichtigen Schritt hin zu verlässlicheren KI‑Systemen im medizinischen Umfeld.