JADE: Dynamische Bewertung von KI-Agenten für offene Fachaufgaben

Die Bewertung von KI-Agenten in offenen, professionellen Aufgaben stellt ein klassisches Spannungsfeld zwischen Strenge und Flexibilität dar. Traditionelle, statische Rubriken bieten zwar reproduzierbare Kriterien, lassen jedoch keine Vielfalt an gültigen Antwortstrategien zu. Auf der anderen Seite passen LLM-basierte Urteilsmechanismen individuell an, sind aber oft instabil und können voreingenommen sein.

Humanexperten lösen dieses Dilemma, indem sie fachspezifisches Wissen mit einer dynamischen, auf einzelnen Behauptungen basierenden Bewertung kombinieren. Inspiriert von diesem Ansatz präsentiert JADE ein zweischichtiges Evaluationsframework. Layer 1 kodiert Expertenwissen als festgelegte Bewertungskompetenzen, die stabile Kriterien liefern. Layer 2 führt eine auf den jeweiligen Bericht zugeschnittene, Behauptungs‑level‑Bewertung durch und nutzt evidenzbasierte Gate‑Mechanismen, um Schlussfolgerungen zu verwerfen, die auf widerlegten Behauptungen beruhen.

Experimentelle Tests auf dem BizBench‑Benchmark zeigen, dass JADE die Bewertungssicherheit erhöht und kritische Fehler von Agenten aufdeckt, die von ganzheitlichen LLM‑Evaluatoren übersehen werden. Darüber hinaus korreliert JADE stark mit von Experten erstellten Rubriken und lässt sich erfolgreich auf einen medizinischen Benchmark übertragen, was die Vielseitigkeit des Ansatzes unterstreicht.

Der komplette Code ist öffentlich zugänglich unter https://github.com/smiling-world/JADE.