Medizinische LLMs bewerten Augenpatientenfragen – Studie zeigt Unterschiede

In einer aktuellen Untersuchung wurden vier kleine, medizinisch spezialisierte Sprachmodelle – Meerkat‑7B, BioMistral‑7B, OpenBioLLM‑8B und MedLLaMA3‑v20 – auf ihre Fähigkeit getestet, Fragen von Augenpatienten zu beantworten. Die Modelle wurden mit 180 realen Anfragen gefüttert, was insgesamt 2 160 Antworten ergab.

Die Antworten wurden von drei Augenärzten unterschiedlicher Erfahrungsstufe sowie von GPT‑4‑Turbo anhand des S.C.O.R.E. Frameworks bewertet. Dieses Verfahren prüft Sicherheit, Konsens und Kontext, Objektivität, Reproduzierbarkeit sowie Erklärbarkeit und nutzt eine fünfstufige Likert‑Skala.

Die statistische Übereinstimmung zwischen den Bewertungen der LLMs und der menschlichen Experten wurde mit Spearman‑Rho, Kendall‑Tau und Dichteschätzungen analysiert. Meerkat‑7B erzielte die höchsten Mittelwerte: 3,44 bei Senior‑Consultants, 4,08 bei Consultants und 4,18 bei Residents. Im Gegensatz dazu zeigte MedLLaMA3‑v20 erhebliche Schwächen, wobei 25,5 % der Antworten Halluzinationen oder klinisch irreführende Inhalte enthielten.

Die Bewertung durch GPT‑4‑Turbo entsprach den menschlichen Einschätzungen in hohem Maße, mit einem Spearman‑Rho von 0,80 und einem Kendall‑Tau von 0,67. Diese Ergebnisse unterstreichen die potenzielle Rolle von kleineren, ressourcenschonenden LLMs in der augenärztlichen Patientenkommunikation, während gleichzeitig die Notwendigkeit einer sorgfältigen Validierung betont wird.