MATRIX: Neues Framework für sichere klinische Dialogsysteme

Mit der zunehmenden Nutzung großer Sprachmodelle in klinischen Dialogsystemen fehlt bislang ein systematischer Ansatz, um die Sicherheit und das Risikomanagement dieser Anwendungen zu prüfen. Das neue Framework MATRIX (Multi‑Agent Simulation Framework for safe Interactions and contextual clinical conversational evaluation) bietet genau das: eine strukturierte, erweiterbare Plattform, die speziell auf die Anforderungen sicherheitskritischer Systeme zugeschnitten ist.

MATRIX besteht aus drei Kernkomponenten. Erstens liefert eine auf Sicherheit ausgerichtete Taxonomie klinischer Szenarien, erwarteter Systemverhalten und möglicher Fehlerarten ein einheitliches Bewertungskonzept. Zweitens prüft BehvJudge, ein auf LLM basierender Evaluator, systematisch die Dialoge auf sicherheitsrelevante Fehler und wurde gegen Expertenannotationen validiert. Drittens simuliert PatBot als virtueller Patient realistische, situationsabhängige Reaktionen, die sowohl quantitativ als auch qualitativ mit menschlicher Expertise und einer Patientenpräferenzstudie abgeglichen wurden.

In drei Experimenten zeigte sich, dass BehvJudge mit Gemini 2.5‑Pro ein Experten‑Level an Gefahrenerkennung erreicht (F1 = 0.96, Sensitivität = 0.999) und dabei sogar klinische Fachkräfte bei einer blind getesteten Stichprobe von 240 Dialogen übertrifft. PatBot demonstrierte eine hohe Realitätsnähe, was die Zuverlässigkeit von LLM‑basierten Patientensimulationen erstmals in quantitativen und qualitativen Analysen belegt. Durch MATRIX lassen sich nun fünf verschiedene LLM‑Modelle systematisch vergleichen und ihre Sicherheitsprofile transparent darstellen.

Das Framework eröffnet damit einen skalierbaren, reproduzierbaren Weg, um die Sicherheit klinischer Sprachmodelle zu bewerten und kontinuierlich zu verbessern – ein entscheidender Schritt, um die Integration von KI in die medizinische Praxis verantwortungsvoll voranzutreiben.