LLMs: Vertrauen stärken – Wie ein neuer Confidence‑Score Fehler erkennt

In einer Zeit, in der große Sprachmodelle (LLMs) immer häufiger in kritischen Entscheidungsprozessen eingesetzt werden, stellt die fehlende Möglichkeit, ihre Unsicherheit zuverlässig zu messen, ein erhebliches Vertrauensrisiko dar. Forscher haben deshalb einen neuen, normierten Confidence‑Score entwickelt, der auf den Wahrscheinlichkeiten von Ausgangs‑Anchor‑Tokens basiert. Dieser Score ermöglicht es, Fehler und Halluzinationen direkt zu erkennen – ohne zusätzliche Validierung.

Die Arbeit liefert drei zentrale Erkenntnisse: Erstens wird ein selbstbewertendes Framework vorgestellt, das für sieben unterschiedliche Benchmark‑Aufgaben und fünf LLM‑Architekturen zuverlässige Confidence‑Schätzungen liefert. Zweitens zeigt die theoretische Analyse, dass das klassische supervised fine‑tuning (SFT) zu gut kalibrierten Confidence‑Werten führt, während Reinforcement‑Learning‑Methoden wie PPO, GRPO und DPO durch Belohnungs‑Ausnutzung übermäßig selbstsicher werden. Drittens schlagen die Autoren eine Post‑RL‑SFT‑Strategie mit Selbst‑Distillation vor, um die Zuverlässigkeit von RL‑trainierten Modellen wiederherzustellen.

Die experimentellen Ergebnisse sind überzeugend: Bei Qwen3‑4B verbesserte SFT den durchschnittlichen Confidence‑Correctness‑AUROC von 0,806 auf 0,879 und senkte den Kalibrierungsfehler von 0,163 auf 0,034. Im Gegensatz dazu verschlechterten GRPO und DPO die Confidence‑Reliability. Praktisch demonstriert die Studie die Vorteile eines adaptiven Retrieval‑Augmented Generation (RAG) – das nur dann Kontext abruft, wenn das Modell unsicher ist. Dadurch werden Retrieval‑Operationen auf lediglich 58 % reduziert, ohne die Qualität der Antworten zu beeinträchtigen.