MCP-Universe-Benchmark: GPT‑5 schlägt bei über der Hälfte realer Orchestrierungsaufgaben

Salesforce Research hat einen neuen Benchmark entwickelt, der die Leistungsfähigkeit von Sprachmodellen und agentenbasierten Systemen in echten Unternehmensaufgaben prüft. Der Test konzentriert sich auf komplexe Orchestrierungsaufgaben, die in der Praxis häufig auftreten, und bewertet sowohl die reine Modellleistung als auch die Fähigkeit von Agenten, eigenständig zu handeln.

Die Ergebnisse zeigen, dass GPT‑5 bei mehr als 50 % der Aufgaben nicht die erwarteten Ergebnisse liefert. Das bedeutet, dass das Modell in vielen realen Szenarien noch nicht zuverlässig genug ist, um als alleinige Lösung eingesetzt zu werden.

Diese Erkenntnisse unterstreichen die Notwendigkeit, KI-Systeme unter realen Bedingungen zu testen, bevor sie in produktiven Umgebungen eingesetzt werden. Gleichzeitig geben die Ergebnisse einen klaren Hinweis darauf, wo zukünftige Forschung und Optimierung ansetzen sollten, um die Zuverlässigkeit von Sprachmodellen und Agenten in der Unternehmenswelt zu erhöhen.