Med-MoE-LoRA: Neue Methode für domänenspezifische LLM‑Anpassung im Gesundheitswesen
Die rasante Weiterentwicklung von Large Language Models (LLMs) hat den Fokus von allgemeinen Fähigkeiten auf fachspezifisches Know‑How verlagert. Besonders im medizinischen Bereich stellen zwei zentrale Probleme die Anpassung von LLMs vor große Herausforderungen: Erstens das „Stability‑Plasticity Dilemma“, bei dem das Modell komplexes klinisches Wissen erlernen muss, ohne dabei sein allgemeines Weltwissen zu verlieren. Zweitens die „Task Interference“, bei der unterschiedliche Unteraufgaben – wie Diagnostik, Berichtszusammenfassung oder die Vorhersage von Arzneimittelwechselwirkungen – um begrenzte, low‑rank Parameter konkurrieren.
