EnterpriseOps-Gym: Benchmark für KI-Agenten in Unternehmensumgebungen

Große Sprachmodelle entwickeln sich von passiven Informationslieferanten zu aktiven Agenten, die komplexe Arbeitsabläufe übernehmen sollen. In der Praxis bleibt ihre Einführung als zuverlässige KI-Arbeiter in Unternehmen jedoch hinter den Erwartungen zurück, weil bisherige Tests die Komplexität professioneller Umgebungen nicht abbilden. Insbesondere fehlt die Berücksichtigung von langfristiger Planung, sich ständig ändernden Zuständen und strengen Zugangsprotokollen.

Um diese Lücke zu schließen, wurde EnterpriseOps-Gym entwickelt – ein Benchmark, der agentisches Planen in realistischen Unternehmenssettings bewertet. Das System bietet einen containerisierten Sandbox mit 164 Datenbanktabellen und 512 funktionalen Tools, die typische Suchschwierigkeiten nachahmen. In diesem Umfeld werden Agenten anhand von 1.150 Expertenaufgaben aus acht kritischen Branchen wie Kundenservice, Personalwesen und IT getestet.

Die Analyse von 14 führenden Modellen zeigt deutliche Schwächen: Das bestperformende Claude Opus 4.5 erreicht lediglich 37,4 % Erfolgsrate. Eine zusätzliche Bereitstellung von „Oracle“-Menschplänen verbessert die Ergebnisse um 14–35 Prozentpunkte, was darauf hindeutet, dass strategisches Denken der Hauptengpass ist. Zudem gelingt es Agenten kaum, unmachbare Aufgaben abzulehnen – das beste Modell verweigert nur 53,9 % der Fälle, was potenziell schädliche Nebeneffekte birgt.

Die Ergebnisse verdeutlichen, dass aktuelle Agenten noch nicht für autonome Unternehmensanwendungen bereit sind. EnterpriseOps-Gym stellt damit ein konkretes Testfeld dar, um die Robustheit von agentischem Planen in professionellen Arbeitsabläufen zu erhöhen und die nächste Generation von KI-Arbeitern zu entwickeln.