KI-Assistenz im Gesundheitswesen: Sicherheit durch iterative Präferenzabstimmung

Große Sprachmodelle (LLMs) finden immer häufiger Einsatz in der Medizin, doch ihre sichere und vertrauenswürdige Nutzung bleibt ein entscheidendes Hindernis für die breite Einführung. Insbesondere müssen konversationelle medizinische Assistenten gefährliche Anfragen erkennen, ohne dabei harmlose Fragen unnötig abzulehnen.

Um dieses Spannungsfeld zu lösen, wurde ein iteratives Post‑Deployment‑Alignment‑Framework entwickelt, das die Kahneman‑Tversky‑Optimierung (KTO) und die Direct Preference Optimization (DPO) kombiniert. Durch wiederholte Anpassungen werden die Modelle gezielt an domänenspezifische Sicherheitssignale ausgerichtet.

Die Wirksamkeit wurde am CARES‑18K Benchmark für adversariale Robustheit getestet. Vier LLM‑Varianten – Llama‑3B, Llama‑8B, Meditron‑8B und Mistral‑7B – wurden über mehrere Optimierungscycles hinweg evaluiert.

Die Ergebnisse zeigen, dass die Sicherheit bei der Erkennung schädlicher Anfragen um bis zu 42 % verbessert werden kann. Gleichzeitig entstehen jedoch interessante Kompromisse, wenn zu viele Anfragen fälschlicherweise abgelehnt werden, was auf architekturspezifische Kalibrierungsbiases hinweist.

Durch Ablationsstudien wurde ermittelt, wann selbstständige Bewertungen zuverlässig sind und wann externe oder feinabgestimmte Gutachter erforderlich sind, um die Leistungssteigerungen zu maximieren.

Die Studie unterstreicht die Notwendigkeit, bewährte Verfahren zu übernehmen, die Patientensicherheit, Nutzervertrauen und klinische Nützlichkeit in der Gestaltung konversationeller medizinischer Assistenten ausgewogen berücksichtigen.