Neuer Benchmark Emergence WebVoyager verbessert Bewertung von Web-Agenten

Die Bewertung von KI-Agenten, die in komplexen, realen Umgebungen agieren, muss zuverlässig, transparent und auf die jeweiligen Aufgaben abgestimmt sein. In einer aktuellen Analyse wurden die Schwächen bestehender Verfahren besonders bei Web-Agenten deutlich, etwa Unklarheiten bei der Aufgabenformulierung und große Schwankungen im Ablauf, die echte Leistungsvergleiche erschweren.

Um diese Probleme zu lösen, wurde der Benchmark Emergence WebVoyager entwickelt. Er legt klare Richtlinien für die Aufgabeninstanzierung, das Handling von Fehlern, die Annotation und die Berichterstattung fest. Durch diese Standardisierung erreicht der neue Benchmark eine Inter-Annotator‑Übereinstimmung von 95,9 %, was die Klarheit und Zuverlässigkeit der Bewertung deutlich erhöht.

Die Anwendung des neuen Rahmens auf den OpenAI Operator zeigte, dass die Agentenleistung je nach Domäne und Aufgabenart stark variiert. Der Gesamterfolg lag bei 68,6 %, deutlich unter den zuvor von OpenAI berichteten 87 %. Diese Ergebnisse unterstreichen, wie wichtig ein konsistentes und transparentes Evaluationsverfahren für vergleichbare und glaubwürdige Messungen von Web-Agenten ist.