VERA‑MH: Zuverlässige KI‑Sicherheitsbewertung für psychologische Chatbots

Immer mehr Menschen greifen auf generative KI‑Chatbots zu, um psychologische Unterstützung zu erhalten. Doch die zentrale Frage bleibt: Sind diese Tools wirklich sicher? Die neue VERA‑MH‑Evaluation (Validation of Ethical and Responsible AI in Mental Health) soll genau das beantworten.

In einer aktuellen Studie wurden die klinische Gültigkeit und Zuverlässigkeit der VERA‑MH‑Bewertung für die Erkennung und Reaktion auf Suizidrisiken untersucht. Dazu wurden umfangreiche simulierte Gespräche zwischen KI‑basierten „User‑Agents“ und allgemeinen Chatbots erstellt.

Zehn lizenzierte Fachärzte bewerteten die Gespräche mit einem einheitlichen Bewertungsraster, während ein KI‑basierter „Judge“ dieselben Gespräche anhand desselben Rasters analysierte. Die Übereinstimmung zwischen den einzelnen Ärzten war hoch (inter‑Rater‑Reliability 0,77). Der KI‑Judge zeigte eine noch stärkere Übereinstimmung mit dem Konsens der Fachärzte (IRR 0,81) und bewertete die Gespräche in allen Schlüsselbedingungen konsistent.

Die Ärzte empfanden die User‑Agents als sehr realistisch, was die Glaubwürdigkeit der simulierten Szenarien unterstreicht. Die Ergebnisse zeigen, dass die VERA‑MH‑Evaluation ein robustes, evidenzbasiertes Instrument darstellt, um die Sicherheit von KI‑Chatbots im psychologischen Kontext zu prüfen und zu gewährleisten.