Kreuzmodell‑Unstimmigkeit: Ein neuer, label‑freier Fehlerindikator für Sprachmodelle

Die sichere Nutzung von Sprachmodellen hängt davon ab, Fehler zuverlässig zu erkennen – und das ohne aufwändige Ground‑Truth‑Labels. Traditionelle Methoden, die sich auf die eigene Unsicherheit des Modells stützen, versagen häufig bei den gefährlichsten Fehlern: dem sogenannten „confident error“, bei dem das Modell zwar falsch, aber sicher ist.

In der neuen Studie wird ein völlig anderer Ansatz vorgestellt: die Kreuzmodell‑Unstimmigkeit. Dabei wird ein zweites, unabhängiges Modell – der Verifizierer – die vom ersten Modell generierte Antwort lediglich lesen. Auf Basis eines einzigen Forward‑Passes berechnet der Verifizierer, wie überrascht oder unsicher er an den jeweiligen Token ist. Dabei entstehen zwei neue Kennzahlen: Cross‑Model Perplexity (CMP) und Cross‑Model Entropy (CME). Beide erfordern keine zusätzliche Generierung und keine Trainingsdaten.

Die Ergebnisse sind überzeugend. Auf dem umfangreichen MMLU‑Benchmark erreicht CMP einen durchschnittlichen AUROC von 0.75, während ein herkömmliches innerhalb‑Modell‑Entropie‑Baseline nur 0.59 erzielt. Ähnliche Verbesserungen lassen sich auch bei TriviaQA und GSM8K beobachten, was die Vielseitigkeit des Ansatzes unterstreicht.

Diese Technik bietet einen praktischen, trainingsfreien Weg, die Korrektheit von Modellausgaben in Echtzeit zu schätzen. Sie lässt sich nahtlos in bestehende Produktions‑ und Monitoring‑Infrastrukturen integrieren und eröffnet neue Möglichkeiten für sichere, zuverlässige KI‑Deployments.