Adaptive Tests senken Kosten bei Bewertung von Sprachmodellen im Gesundheitswesen

Die rasante Verbreitung großer Sprachmodelle (LLMs) im Gesundheitswesen erfordert neue, skalierbare Bewertungsmethoden. Traditionelle Benchmarks sind teuer, anfällig für Datenkontamination und bieten keine kalibrierten Messwerte für ein detailliertes Leistungsvergleich.

In einer neuartigen Studie wurde ein computerisiertes adaptives Testverfahren (CAT) auf Basis der Item-Response-Theorie (IRT) entwickelt. Durch eine Monte-Carlo-Simulation wurden optimale CAT-Konfigurationen ermittelt, bevor 38 LLMs mit einer menschlich kalibrierten medizinischen Itembank getestet wurden.

Jedes Modell absolvierte sowohl die komplette Itembank als auch einen adaptiven Test, der Items dynamisch auswählte und bei Erreichen einer definierten Zuverlässigkeitsgrenze (Standardfehler ≤ 0,3) abbrach. Die CAT-basierten Proficiency-Schätzungen korrelierten nahezu perfekt mit den Vollbank-Ergebnissen (r = 0,988) und nutzten dabei lediglich 1,3 % der Items.

Die Bewertungsgeschwindigkeit ging von mehreren Stunden auf wenige Minuten, während Tokenverbrauch und Rechenkosten erheblich reduziert wurden – ohne die Rangfolge der Modelle zu verfälschen. Damit bietet das Verfahren ein psychometrisch fundiertes, schnelles und kostengünstiges Benchmarking für medizinisches Fachwissen in LLMs.

Die adaptive Methode soll als standardisiertes Pre‑Screening und kontinuierliches Monitoring dienen, ersetzt jedoch keine real‑welt‑basierten Evaluierungen. Sie stellt einen wichtigen Schritt dar, um die Qualität von Sprachmodellen im Gesundheitsbereich effizient zu überwachen.