Effizientes Benchmarking von KI-Agenten: Weniger Tests, gleiche Rangfolge

Eine neue Studie von Forschern auf arXiv zeigt, dass die Bewertung von KI-Agenten deutlich effizienter gestaltet werden kann, ohne dabei die Rangfolge der Agenten zu verfälschen. Statt hunderte von Aufgaben auszuführen, reicht ein gezielter Subset aus, um die Leistung zuverlässig zu vergleichen.

Der Aufwand für vollständige Benchmarks ist enorm, weil jede Bewertung interaktive Rollouts mit Tool‑Nutzung und mehrstufigem Denken erfordert. Diese Komplexität führt zu hohen Kosten und langen Laufzeiten, die in der Praxis oft unpraktisch sind.

Die Untersuchung umfasste acht Benchmarks, 33 Agenten‑Scaffolds und über 70 Modellkonfigurationen. Dabei wurde festgestellt, dass die absolute Punktzahl bei veränderten Rahmenbedingungen (Scaffold‑Shift) stark abnimmt, während die Rangfolge der Agenten stabil bleibt. Das bedeutet, dass die relative Leistung der Agenten auch bei unterschiedlichen Testumgebungen vergleichbar bleibt.

Auf dieser Erkenntnis basiert ein neuer, optimierungsfreier Ansatz: Agenten werden ausschließlich auf Aufgaben mit einer historischen Passrate zwischen 30 % und 70 % getestet. Dieser mittlere Schwierigkeitsfilter, inspiriert von der Item‑Response‑Theory, reduziert die Anzahl der zu bewertenden Aufgaben um 44 % bis 70 % und erhält gleichzeitig eine hohe Rangtreue, selbst bei zeitlichen und strukturellen Veränderungen.

Im Vergleich zu zufälliger Stichprobenauswahl, die große Schwankungen aufweist, und zu gieriger Aufgabenwahl, die bei Verteilungssprüngen versagt, liefert dieser Ansatz zuverlässigere Rankings. Die Ergebnisse deuten darauf hin, dass ein vollständiges Benchmarking nicht zwingend erforderlich ist, um Leaderboards akkurat zu führen.