RxSafeBench: LLMs auf Herz und Nieren prüfen – Medikamentensicherheit im Fokus

In den letzten Jahren haben große Sprachmodelle (LLMs) enorme Fortschritte in vielen medizinischen Aufgaben erzielt. Doch die Frage, wie sicher sie bei der Verschreibung von Medikamenten sind, bleibt weitgehend unerforscht – vor allem weil echte klinische Daten wegen Datenschutz‑ und Zugänglichkeitsproblemen selten verfügbar sind.

Um diese Lücke zu schließen, hat ein neues Forschungsprojekt ein Simulations‑Framework entwickelt, das klinische Konsultationen nachbildet und die Medikamentensicherheit von LLMs systematisch prüft. Im Mittelpunkt steht die RxRisk‑Datenbank, die 6 725 Kontraindikationen, 28 781 Arzneimittelinteraktionen und 14 906 Indikations‑Arzneimittel‑Paare enthält. Durch einen zweistufigen Filterprozess werden nur realistische und professionell hochwertige Dialoge ausgewählt, was schließlich zu RxSafeBench mit 2 443 erstklassigen Konsultationsszenarien führt.

Mit diesem Benchmark wurden führende Open‑Source‑ und proprietäre LLMs anhand strukturierter Multiple‑Choice‑Fragen getestet, die die Fähigkeit prüfen, sichere Medikamente in simulierten Patientenkontexten zu empfehlen. Die Ergebnisse zeigen deutlich, dass aktuelle Modelle Schwierigkeiten haben, Kontraindikationen und Interaktionen zu berücksichtigen – besonders wenn Risiken nur implizit angedeutet sind.

Die Studie unterstreicht die dringende Notwendigkeit, LLM‑basierte Systeme für die Medikamentenvergabe zuverlässiger zu machen. Verbesserte Prompt‑Strategien und gezieltes Task‑Tuning könnten die Sicherheit erhöhen und damit einen wichtigen Schritt in Richtung vertrauenswürdiger KI‑unterstützter Gesundheitsversorgung darstellen.