DeepSeek‑R1 übertrifft ChatGPT‑4o bei chinesischem Pharmazeutenausbildungstest

In einer wegweisenden Studie wurden die Fähigkeiten zweier großer Sprachmodelle – ChatGPT‑4o und DeepSeek‑R1 – anhand von echten Fragen aus dem nationalen Pharmazeutenausbildungs­examen in China getestet. Die Untersuchung zielte darauf ab, die Leistungsunterschiede dieser Modelle zu beleuchten und deren Implikationen für die KI‑gestützte Bewertung von Fachwissen zu verstehen.

Die Forscher sammelten insgesamt 2.306 Multiple‑Choice‑Fragen aus offiziellen Prüfungen, Schulungsunterlagen und öffentlichen Datenbanken. Fragen mit Tabellen oder Bildern wurden bewusst ausgeschlossen, um die reine Textverarbeitung zu prüfen. Jede Frage wurde in ihrer ursprünglichen chinesischen Form an die Modelle übergeben, und die Antworten wurden auf exakte Richtigkeit bewertet.

Die Ergebnisse zeigten einen deutlichen Vorteil von DeepSeek‑R1: 90,0 % korrekte Antworten im Vergleich zu 76,1 % bei ChatGPT‑4o – ein statistisch signifikanter Unterschied (p < 0,001). Besonders stark war die Überlegenheit von DeepSeek‑R1 in den Bereichen Grundlagen und klinische Synthese. Auch wenn die jährlichen Leistungsunterschiede nicht in allen Einheiten statistisch signifikant waren, blieb die Gesamtpräzision von DeepSeek‑R1 konstant höher.

Die Studie unterstreicht, dass spezialisierte Sprachmodelle wie DeepSeek‑R1 ein vielversprechendes Potenzial für die Unterstützung von hochrangigen, fachbezogenen Prüfungen besitzen. Ihre überlegene Genauigkeit könnte die Entwicklung von KI‑basierten Lern- und Bewertungswerkzeugen in der Gesundheitsbildung maßgeblich vorantreiben.