Med-MoE-LoRA: Neue Methode für domänenspezifische LLM‑Anpassung im Gesundheitswesen

Die rasante Weiterentwicklung von Large Language Models (LLMs) hat den Fokus von allgemeinen Fähigkeiten auf fachspezifisches Know‑How verlagert. Besonders im medizinischen Bereich stellen zwei zentrale Probleme die Anpassung von LLMs vor große Herausforderungen: Erstens das „Stability‑Plasticity Dilemma“, bei dem das Modell komplexes klinisches Wissen erlernen muss, ohne dabei sein allgemeines Weltwissen zu verlieren. Zweitens die „Task Interference“, bei der unterschiedliche Unteraufgaben – wie Diagnostik, Berichtszusammenfassung oder die Vorhersage von Arzneimittelwechselwirkungen – um begrenzte, low‑rank Parameter konkurrieren.

In ihrer Arbeit präsentiert das Team Med‑MoE‑LoRA, ein innovatives Framework, das Mixture‑of‑Experts (MoE) mit Low‑Rank Adaptation (LoRA) kombiniert, um eine effiziente Multi‑Task‑Domänenanpassung zu ermöglichen. Durch eine asymmetrische Expertenverteilung werden tiefere Schichten mit einer höheren Dichte an LoRA‑Experten ausgestattet, um komplexe semantische Abstraktionen zu erfassen. Zusätzlich wird ein „Knowledge‑Preservation Plugin“ eingeführt, das die allgemeinen, generischen Fähigkeiten des Modells isoliert und schützt.

Med‑MoE‑LoRA nutzt adaptive Routenführung und soft‑Merging, um die Interferenz zwischen den Aufgaben zu minimieren. In umfangreichen Experimenten über mehrere klinische NLP‑Aufgaben hinweg übertrifft das neue Verfahren sowohl herkömmliche LoRA‑ als auch MoE‑Architekturen, während es gleichzeitig die generellen kognitiven Fähigkeiten des Modells beibehält. Diese Ergebnisse markieren einen bedeutenden Fortschritt für die praktische Anwendung von LLMs im Gesundheitswesen und eröffnen neue Möglichkeiten für spezialisierte, aber dennoch vielseitige KI‑Systeme.