CLEAR: Das neue Bewertungssystem für Agentic AI in Unternehmen

In einer wegweisenden Studie wird deutlich, dass die meisten aktuellen Benchmarks für agentische KI ausschließlich die Genauigkeit der Aufgabenlösung messen und dabei entscheidende Unternehmensaspekte wie Kosten, Zuverlässigkeit und Betriebssicherheit vernachlässigen.

Durch die Analyse von zwölf führenden Benchmarks und einer empirischen Bewertung von Top-Agenten wurden drei zentrale Schwächen identifiziert: Erstens führen fehlende kostenkontrollierte Tests zu einer Variation von bis zu 50‑fachen Kosten bei vergleichbarer Präzision. Zweitens sinkt die Zuverlässigkeit der Agenten von 60 % bei einer einzelnen Ausführung auf lediglich 25 % bei acht Wiederholungen. Drittens fehlen multidimensionale Kennzahlen für Sicherheit, Latenz und Richtlinienkonformität.

Als Antwort darauf präsentiert die Arbeit das CLEAR‑Framework – Cost, Latency, Efficacy, Assurance, Reliability – ein ganzheitliches Bewertungssystem, das speziell für den Einsatz in Unternehmen entwickelt wurde.

Die Anwendung von CLEAR auf sechs führende Agenten bei 300 unternehmensrelevanten Aufgaben zeigte, dass reine Genauigkeitsoptimierung Agenten 4,4‑bis‑10,8‑mal teurer macht als kostenbewusste Alternativen mit vergleichbarer Leistung.

Eine Expertenbefragung mit 15 Fachleuten bestätigte, dass CLEAR die Produktionsfähigkeit deutlich besser vorhersagen kann (Korrelation ρ = 0,83) als die herkömmliche Genauigkeitsbetrachtung (ρ = 0,41).