REMIND: Neue Perspektive für medizinisches Multimodales Lernen bei fehlenden Daten

In der medizinischen Forschung gewinnt die Integration von Informationen aus vielen unterschiedlichen Modalitäten immer mehr an Bedeutung. Doch in der Praxis ist es selten möglich, für jeden Patienten alle Modalitäten zu erfassen. Dieses Problem, das die Autoren „High‑Modality Learning under Missingness“ nennen, führt zu einer exponentiellen Zunahme möglicher Modalkombinationen.

Die Autoren zeigen, dass diese Vielfalt zu einer stark unausgeglichenen, long‑tailed Verteilung der Modalkombinationen führt. Besonders die seltenen Kombinationen – die sogenannten Tail‑Groups – erzielen deutlich schlechtere Ergebnisse, weil die Lernalgorithmen nicht ausreichend darauf abgestimmt sind.

Die Ursachen liegen in zwei fundamentalen Problemen: Erstens entsteht bei den Tail‑Groups eine Gradient‑Inkonstanz, sodass deren Updates nicht mit der globalen Optimierungsrichtung übereinstimmen. Zweitens erfordern unterschiedliche Modalkombinationen eigene Fusion‑Funktionen, was zu Konzeptverschiebungen führt.

Um diese Herausforderungen zu meistern, stellen die Autoren REMIND vor – ein einheitliches Framework, das Multimodales Lernen unter hoher Modality‑Missingness aus einer Long‑Tail‑Perspektive neu denkt. Das Herzstück ist ein gruppenspezifisches Mixture‑of‑Experts‑Modell, das skalierbar fusionsspezifische Funktionen für beliebige Modalkombinationen lernt. Gleichzeitig nutzt es eine gruppen‑distributionssichere Optimierung, um unterrepräsentierte Kombinationen zu verstärken.

Umfangreiche Experimente bestätigen, dass REMIND die Leistung bei seltenen Modalkombinationen deutlich verbessert und damit die Gesamtperformance des multimodalen Lernens in medizinischen Anwendungen nachhaltig steigert.