EnterpriseGym Corecraft: KI-Agenten lernen in realitätsnahen RL-Umgebungen

Surge AI hat mit der Einführung von Corecraft die erste Umgebung der EnterpriseGym-Suite vorgestellt. Corecraft simuliert ein voll funktionsfähiges Kundenservice-Unternehmen mit über 2.500 Entitäten, 14 Entitätstypen und 23 spezialisierten Tools. Ziel ist es, zu prüfen, ob KI-Agenten komplexe, mehrstufige Aufgaben ausführen können, die in realen Arbeitsprozessen anfallen.

Die Tests zeigen, dass aktuelle Frontier‑Modelle wie GPT‑5.2 und Claude Opus 4.6 weniger als 30 % der Aufgaben erfüllen, wenn alle von Experten verfassten Rubrikkriterien berücksichtigt werden. Durch den Einsatz von Group Relative Policy Optimization (GRPO) und adaptivem Clipping konnte das Modell GLM 4.6 nach nur einer Trainingsepoch die Pass‑Rate von 25,37 % auf 36,76 % steigern.

Wesentlich ist, dass diese Verbesserungen nicht nur in Corecraft, sondern auch auf externen Benchmarks sichtbar werden. Auf BFCL Parallel steigt die Leistung um 4,5 %, auf τ²‑Bench Retail um 7,4 % und auf Toolathlon (Pass@1) um 6,8 %. Damit demonstriert Corecraft, dass gut gestaltete, realitätsnahe Umgebungen die Generalisierung von Agenten fördern.

Die Autoren identifizieren drei Schlüsselfaktoren, die den Transfer unterstützen: ein auf Aufgaben fokussiertes Welt‑Building, von Experten erstellte Rubriken für zuverlässige Belohnungsberechnung und Unternehmensworkflows, die reale professionelle Abläufe widerspiegeln. Diese Erkenntnisse unterstreichen, dass Qualität, Vielfalt und Realismus der Trainingsumgebung entscheidend für die Entwicklung generalisierbarer KI‑Agenten sind.