Neue Methode zertifiziert Zuverlässigkeit von Black-Box‑KI-Agenten

Eine neue Studie aus dem Bereich der künstlichen Intelligenz präsentiert ein Verfahren, mit dem die Zuverlässigkeit von Black‑Box‑KI-Systemen für konkrete Aufgaben eindeutig bewertet werden kann. Das Verfahren liefert für jedes System‑Aufgaben‑Paar eine einzelne, nachvollziehbare Zahl – die sogenannte „Reliability‑Level“, die angibt, in welchem Vertrauen ein Anwender die Ausgabe des Modells akzeptieren kann.

Der Kern des Ansatzes ist die Kombination aus Self‑Consistency Sampling und Conformal Calibration. Durch Self‑Consistency Sampling werden mehrere unabhängige Ausgaben eines Modells erzeugt und nur die übereinstimmenden Ergebnisse berücksichtigt. Dieser Prozess reduziert die Unsicherheit exponentiell und führt zu stabileren Vorhersagen.

Conformal Calibration ergänzt das Verfahren, indem sie eine exakte, endliche Stichprobensicherheit garantiert. Unabhängig von den Fehlern des Modells wird die Richtigkeit innerhalb von 1/(n+1) des Zielwertes sichergestellt. Die Methode macht Fehler transparent, indem bei schwierigeren Fragen größere Antwortmengen angezeigt werden, die die Unsicherheit widerspiegeln.

In praktischen Tests zeigte die Methode beeindruckende Ergebnisse. GPT‑4.1 erzielte beispielsweise 94,6 % Reliability‑Level auf dem GSM8K‑Benchmark und 96,8 % auf TruthfulQA, während die kleinere Variante GPT‑4.1‑nano 89,8 % auf GSM8K und 66,5 % auf MMLU erreichte. Diese Werte verdeutlichen, dass die Reliability‑Level nicht mit der reinen Genauigkeit zu verwechseln sind.

Die Validierung erstreckte sich über fünf Benchmarks, fünf Modelle aus drei unterschiedlichen Familien sowie sowohl synthetische als auch reale Datensätze. Für lösbare Aufgaben erreichte die bedingte Abdeckung in allen Konfigurationen mehr als 93 %. Zusätzlich ermöglicht ein sequentielles Stoppverfahren die Reduktion der API-Kosten um etwa 50 %, ohne die Zuverlässigkeit zu beeinträchtigen.