Spezialisten-Agenten verbessern Unsicherheitskalibrierung bei MC-Fragen

In klinischen Anwendungen sind ungenaue Vertrauenswerte ein echtes Hindernis: ein Modell, das immer zu selbstsicher ist, liefert keinen brauchbaren Hinweis darauf, wann ein menschlicher Experte eingreifen sollte. Ein neues Forschungsprojekt löst dieses Problem, indem es mehrere Fachagenten kombiniert und deren Antworten systematisch überprüft.

Das System nutzt vier domänenspezifische Spezialisten – Atemwege, Kardiologie, Neurologie und Gastroenterologie – die jeweils mit dem Sprachmodell Qwen2.5‑7B‑Instruct eigenständige Diagnosen zu medizinischen Multiple‑Choice‑Fragen erstellen. Anschließend wird jede Diagnose einem zweiphasigen Selbstverifizierungsprozess unterzogen, der die interne Konsistenz misst und einen Spezialisten‑Vertrauenswert (S‑Score) generiert. Diese S‑Scores steuern eine gewichtete Fusion, die die finale Antwort auswählt und das angezeigte Vertrauen kalibriert.

Die Evaluation erstreckte sich über vier Testaufbauten, die 100‑ und 250‑Fragen‑Untergruppen mit hoher Meinungsverschiedenheit aus den Benchmarks MedQA‑USMLE und MedMCQA abdeckten. Die Ergebnisse sind beeindruckend: Die erwartete Calibration Error (ECE) sank um 49 % bis 74 % in allen Szenarien, auch bei der anspruchsvolleren MedMCQA, wo die reine Genauigkeit durch wissensintensive Abrufaufgaben begrenzt bleibt. Auf MedQA‑250 erreichte das vollständige System eine ECE von 0,091 (74,4 % weniger als bei einem einzelnen Spezialisten) und einen AUROC von 0,630 (+0,056) bei 59,2 % Genauigkeit.

Eine Ablationsstudie zeigte, dass die zweiphasige Verifikation der Haupttreiber für die Kalibrierung ist, während die Mehragenten‑Logik die Genauigkeit vorantreibt. Diese Erkenntnisse unterstreichen, dass Konsistenz‑basierte Prüfungen in Kombination mit spezialisierten Agenten die Zuverlässigkeit von KI‑Diagnosen in medizinischen Multiple‑Choice‑Fragen deutlich erhöhen können.