Konformitätsvorhersage + Signifikanztests: Sicherere KI‑Quizantworten

Ein neues Verfahren, das auf arXiv veröffentlicht wurde, kombiniert Konformitätsvorhersage (CP) mit Signifikanztests, um die Zuverlässigkeit großer Sprachmodelle bei Multiple‑Choice‑Fragen zu erhöhen.

Während große Sprachmodelle immer häufiger in fachlichen Frage‑Antwort‑Szenarien eingesetzt werden, führen Halluzinationen und faktisch inkorrekte Antworten häufig zu Vertrauensverlust. CP bietet zwar statistisch fundierte Deckungsgarantien für Vorhersagesätze, doch die Integration von Signifikanztests – ein etabliertes Verfahren der Statistik – wurde bislang nicht untersucht. Das neue Framework nutzt beide Ansätze zusammen, um die Glaubwürdigkeit der Antworten zu stärken.

Das Verfahren berechnet p‑Werte anhand von Konformitäts‑Scores, die aus einer Selbst‑Konsistenz‑Resampling‑Methode der MCQA‑Antworten gewonnen werden. Durch die Analyse der Häufigkeiten der Antwortoptionen wird die Black‑Box‑Natur der Modelle kompensiert, und anschließend werden Vorhersagesätze mittels Nullhypothesen‑Tests mit empirisch abgeleiteten p‑Werten konstruiert.

Die Evaluation auf den Benchmarks MMLU und MMLU‑Pro mit handelsüblichen Sprachmodellen zeigte, dass das erweiterte CP die vom Nutzer vorgegebenen empirischen Fehlabdeckungsraten erreicht. Zudem nimmt die durchschnittliche Vorhersagesatzgröße (APSS) monoton mit steigendem Risikoniveau α ab, was APSS als wirksames Unsicherheitsmaß bestätigt. Das Ergebnis ist ein prinzipiell fundiertes statistisches Rahmenwerk, das die sichere Nutzung von KI‑Modellen in hochriskanten Frage‑Antwort‑Anwendungen ermöglicht.