ServiceNow Research stellt EnterpriseOps‑Gym vor: Benchmark für agentische Planung

Große Sprachmodelle (LLMs) entwickeln sich von reinen Chat‑Bots zu autonomen Agenten, die komplexe professionelle Arbeitsabläufe ausführen können. Doch ihre Einführung in Unternehmensumgebungen bleibt bislang hinter den Erwartungen zurück, weil es keine geeigneten Prüfstandards gibt, die die spezifischen Herausforderungen von Arbeitsprozessen abbilden.

Zu diesen Herausforderungen zählen langanhaltende Planungsaufgaben, dauerhafte Zustandsänderungen und strenge Zugangsprotokolle, die in realen Unternehmen üblich sind. Ohne Benchmarks, die diese Bedingungen realistisch simulieren, ist es schwierig, die Leistungsfähigkeit von LLM‑Agenten objektiv zu messen.

Um diesem Bedarf zu begegnen, haben Forscher von ServiceNow Research in Zusammenarbeit mit Mila das EnterpriseOps‑Gym entwickelt. Dieser hochpräzise Benchmark bietet ein realistisches Unternehmensumfeld, in dem Agenten ihre Fähigkeit zur agentischen Planung unter realen Bedingungen testen können. Damit wird ein wichtiger Schritt unternommen, um die praktische Einsatzfähigkeit von LLM‑Agenten in der Wirtschaft zu evaluieren und weiter zu verbessern.