Certainty-Validity: Diagnose-Framework für diskrete Commitment-Systeme

Standardmetriken wie Genauigkeit, Präzision, Recall und AUROC gehen davon aus, dass alle Fehler gleich schwerwiegend sind – ein sicher falsches Ergebnis wird genauso bestraft wie ein unsicheres. Für diskrete Commitment-Systeme, die zwischen den Zuständen –W, 0 und +W wählen, ist diese Annahme jedoch problematisch.

Das neue Certainty-Validity (CVS)-Framework teilt die Modellleistung in eine 2×2-Matrix auf, die hohe und niedrige Zuversicht mit gültigen und ungültigen Vorhersagen unterscheidet. Dadurch wird ein kritischer Fehlerzustand sichtbar, der von herkömmlichen Kennzahlen verborgen bleibt: das Confident‑Incorrect‑Verhalten, bei dem Modelle bei mehrdeutigen Daten strukturelle Halluzinationen erzeugen.

Durch Ablation‑Studien an Fashion‑MNIST, EMNIST und IMDB wurde die „83 %‑Ambiguitäts‑Decke“ identifiziert – ein Plateau, bei dem die diskrete Architektur bei verrauschten Benchmarks nicht weiter verbessert werden kann. Im Gegensatz zu kontinuierlichen Modellen, die durch Memorieren von Textur oder statistischem Rauschen über diese Grenze hinausgehen, weigert sich das diskrete Modell, bei unklaren Beispielen zu committen. Diese Weigerung ist jedoch keine Schwäche, sondern ein Merkmal: das Modell stoppt dort, wo strukturelle Evidenz endet.

Standardtraining auf mehrdeutigen Daten führt schließlich zu benignem Overfitting, bei dem Unsicherheit in falsche Zuversicht umgewandelt wird. Das CVS-Framework schlägt daher vor, die Qualität von Reaktionssystemen nicht mehr ausschließlich an der Genauigkeit zu messen, sondern an einem Certainty‑Validity‑Score, der sicherstellt, dass das Modell genau weiß, wann es sicher sein kann und wann es Zweifel haben sollte.