MSLoRA-CR: Fortschrittliches multimodales Lernverfahren für medizinische Bilder

Im Bereich der medizinischen Bildverarbeitung ist das multimodale inkrementelle Lernen (MBIIL) entscheidend, um verschiedene Aufgaben und Modalitäten effizient zu verarbeiten, ohne für jede Kombination ein separates Modell zu trainieren. Durch die Nutzung eines einzigen Modells können die Inferenzkosten erheblich reduziert werden.

Die beiden Hauptprobleme bei MBIIL sind: Erstens muss das Modell bereits erlerntes Wissen beim Hinzufügen neuer Modalitäten erhalten bleiben, und zweitens muss es das Wissen aus bestehenden Modalitäten nutzen, um neue Modalitäten zu unterstützen. Traditionelle inkrementelle Lernmethoden konzentrieren sich meist auf die Erweiterung innerhalb einer einzigen Modalität und erfüllen diese Anforderungen nicht vollständig.

Die neue Methode MSLoRA-CR löst diese Herausforderungen, indem sie modulare LoRA‑Module für jede Modalität feinjustiert und gleichzeitig kontrastive Regularisierung einsetzt. Diese Regularisierung fördert den Austausch von Wissen innerhalb einer Modalität und differenziert gleichzeitig das Wissen zwischen verschiedenen Modalitäten. Das zugrunde liegende große Vision‑Language‑Modell bleibt dabei unverändert, während neue LoRA‑Module schrittweise hinzugefügt werden.

In Experimenten mit medizinischen Bilddaten zeigte MSLoRA-CR eine Verbesserung der Gesamtleistung um 1,88 % gegenüber herkömmlichen inkrementellen Lernansätzen und übertraf sogar die SOTA‑Methode, bei der für jede Modalität ein separates Modell trainiert wird. Gleichzeitig bleibt die Berechnungseffizienz erhalten, was die Methode besonders attraktiv für den Einsatz in klinischen Umgebungen macht.

Der komplette Code ist frei verfügbar unter https://github.com/VentusAislant/MSLoRA_CR.