Neues KI-System übertrifft GPT-5 bei Endokrinologie-Boardprüfung

Ein neu entwickeltes KI-System namens Mirror hat bei einer 120-Fragen-Boardprüfung im Bereich Endokrinologie die Leistung von führenden Sprachmodellen wie GPT‑5, GPT‑5.2 und Gemini‑3‑Pro deutlich übertroffen. Mirror erreichte beeindruckende 87,5 % Genauigkeit, was weit über dem menschlichen Referenzwert von 62,3 % liegt.

Das System arbeitet ausschließlich mit einem kuratierten Evidenzkorpus aus Endokrinologie- und kardio-metabolischen Leitlinien und nutzt eine strukturierte Argumentationsarchitektur, um evidenzbasierte Antworten zu generieren. Im Gegensatz zu den Vergleichsmodellen hatte Mirror keinen Zugriff auf externe Suchdienste, während GPT‑5 und Gemini‑3‑Pro in Echtzeit auf aktuelle Leitlinien und Primärliteratur zugreifen konnten.

Bei den 30 schwierigsten Fragen, bei denen die menschliche Genauigkeit unter 50 % lag, erzielte Mirror 76,7 % – ein deutlicher Vorsprung gegenüber GPT‑5.2 (74,6 %) und GPT‑5 (74,0 %). Die Top‑2-Genauigkeit von Mirror lag bei 92,5 %, während GPT‑5.2 nur 85,25 % erreichte.

Ein weiteres Highlight ist die Nachvollziehbarkeit: 74,2 % der Mirror-Ausgaben zitierten mindestens eine Quelle aus der Leitlinien‑Ebene, und die manuelle Überprüfung bestätigte eine 100 %ige Zitiergenauigkeit. Diese Transparenz unterstreicht, dass kuratierte Evidenz mit klarer Provenienz nicht nur die Leistung steigert, sondern auch die Auditierbarkeit für klinische Anwendungen verbessert.

Die Ergebnisse zeigen, dass ein evidenzbasierter Ansatz mit expliziter Quellenangabe die Leistung von KI-Systemen in der subspezifischen klinischen Entscheidungsfindung übertrifft und damit einen wichtigen Schritt in Richtung vertrauenswürdiger, auditierbarer KI im Gesundheitswesen darstellt.