EntWorld: Benchmark für verifizierbare Unternehmens‑GUI‑Agenten

Mit dem neuen Benchmark EntWorld eröffnet die Forschung ein umfassendes Testfeld für KI‑Agenten, die in komplexen Unternehmensumgebungen arbeiten sollen. Im Gegensatz zu bisherigen Datensätzen, die sich vorwiegend auf Konsumentenszenarien wie Online‑Shopping oder Reisebuchungen konzentrieren, deckt EntWorld die anspruchsvollen Abläufe von Enterprise‑Systemen ab.

Der Teststand besteht aus 1 756 Aufgaben, die sich über sechs typische Unternehmensbereiche erstrecken: Customer‑Relationship‑Management (CRM), IT‑Infrastructure‑Library (ITIL), Enterprise‑Resource‑Planning (ERP) und weitere. Durch ein schema‑basiertes Generierungsframework werden die Geschäftslogiken direkt aus den zugrunde liegenden Datenbankschemata abgeleitet, wodurch realistische, langanhaltende Workflows entstehen, die bisherige, fragilen Ausführungstraces überflüssig machen.

Ein weiteres Highlight ist die SQL‑basierte, deterministische Verifikationsmethode, die die bisher unzuverlässige visuelle Übereinstimmung durch eine rigorose Zustandsübergangs‑Validierung ersetzt. In ersten Experimenten erreichten führende Modelle wie GPT‑4.1 lediglich 47,61 % Erfolgsrate, während menschliche Tester deutlich höhere Leistungen erzielen – ein deutlicher Hinweis darauf, dass die Herausforderung noch weit von der Lösung entfernt ist.

EntWorld bietet damit eine robuste Plattform, um die Grenzen von multimodalen Sprachmodellen in professionellen, datenintensiven Umgebungen zu testen und weiterzuentwickeln. Die Veröffentlichung des Benchmarks markiert einen wichtigen Schritt auf dem Weg zu verlässlicheren, verifizierbaren KI‑Agenten für die Unternehmenswelt.