KI-Modelle zeigen große Lücken in Frauenheilkunde – Benchmark enthüllt 60 % Fehler

Mit der zunehmenden Nutzung von großen Sprachmodellen (LLMs) als primäre Informationsquelle im Gesundheitswesen ist ihre Zuverlässigkeit in der Frauenheilkunde bislang kaum untersucht worden. Ein neues Benchmark-Tool, das Women’s Health Benchmark (WHB), bewertet nun explizit die Leistung von LLMs in diesem Fachgebiet.

Der WHB umfasst 96 sorgfältig validierte Testfälle, die fünf medizinische Fachrichtungen abdecken: Geburtshilfe und Gynäkologie, Notfallmedizin, Primärversorgung, Onkologie und Neurologie. Zusätzlich werden drei Arten von Anfragen – Patientenfragen, klinische Fragen und evidenzbasierte bzw. politische Fragen – sowie acht Fehlerkategorien analysiert, darunter Dosierungsfehler, fehlende kritische Informationen, veraltete Leitlinien, falsche Behandlungsratschläge, inkorrekte Fakten, fehlende oder falsche Differentialdiagnosen, verpasste Dringlichkeit und unangemessene Empfehlungen.

Bei der Bewertung von 13 hochmodernen LLMs zeigte sich ein alarmierender Mangel: etwa 60 % der Tests wurden fehlerhaft beantwortet. Die Fehlerquote variiert stark je nach Fachrichtung und Fehlerart. Besonders auffällig ist, dass alle Modelle Schwierigkeiten haben, Dringlichkeitsindikatoren zu erkennen. Neuere Modelle wie GPT‑5 weisen zwar deutliche Verbesserungen bei der Vermeidung unangemessener Empfehlungen auf, bleiben jedoch weit davon entfernt, verlässliche Ratschläge in der Frauenheilkunde zu liefern.

Die Ergebnisse verdeutlichen, dass KI‑Chatbots derzeit noch nicht in der Lage sind, konsistente und sichere Informationen für Frauen zu bieten. Weitere Forschung und gezielte Optimierung sind erforderlich, um die Lücken zu schließen und die Sicherheit von KI‑gestützten Gesundheitsdiensten zu gewährleisten.