InfiMed-Foundation: Neue multimodale Medizinal-LLMs mit effizientem Training

InfiMed-Foundation-1.7B und InfiMed-Foundation-4B stellen die ersten multimodalen Sprachmodelle dar, die speziell für medizinische Anwendungen entwickelt wurden. Durch die Kombination von Text- und Bilddaten aus dem Gesundheitsbereich können sie komplexe diagnostische Aufgaben und visuelle Fragen beantworten.

Die Entwicklung solcher Modelle ist bislang durch mehrere Hindernisse erschwert worden. Allgemeine multimodale Modelle besitzen nicht das notwendige Fachwissen, was zu unzuverlässigen oder halluzinatorischen Antworten führt. Die Distillation von hochentwickelten Modellen erfasst zudem nicht die spezifische Expertise in Bereichen wie Radiologie oder Pharmakologie. Darüber hinaus ist das kontinuierliche Pre‑Training mit großen medizinischen Datensätzen extrem rechenintensiv.

InfiMed-Foundation löst diese Probleme mit einem mehrstufigen Ansatz. Zunächst werden hochwertige allgemeine und medizinische multimodale Daten zusammengeführt und anhand eines fünfdimensionalen Qualitätsrahmens sorgfältig ausgewählt. Anschließend wird die Bildauflösung von niedrig bis hoch skaliert und die Daten in multimodale Sequenzen gepackt, um die Trainingseffizienz zu steigern. Ein dreistufiges, überwacht‑es‑Fine‑Tuning sorgt dafür, dass das Modell das medizinische Wissen optimal extrahiert.

Die Ergebnisse auf dem MedEvalKit-Framework sind beeindruckend: InfiMed-Foundation-1.7B übertrifft Qwen2.5VL-3B, während InfiMed-Foundation-4B HuatuoGPT‑V‑7B und MedGemma‑27B‑IT in visuellen Frage‑Antwort‑ und Diagnoseaufgaben schlägt. Diese Leistungen zeigen, dass die Modelle die aktuelle Benchmark in medizinischen Anwendungen deutlich übertreffen.

InfiMed-Foundation demonstriert, wie gezielte Datenqualität, effizientes Training und ein domänenspezifischer Ansatz die Leistungsfähigkeit multimodaler medizinischer KI erheblich steigern können. Die Plattform bietet damit eine vielversprechende Lösung für die Integration von KI in klinische Entscheidungsprozesse.