MCP-Universe: Benchmark für LLMs mit realen Modellkontext-Servern

Der neue Benchmark MCP‑Universe setzt neue Maßstäbe für die Bewertung großer Sprachmodelle (LLMs). Er nutzt das Model Context Protocol (MCP), ein aufkommender Standard, der LLMs ermöglicht, mit externen Datenquellen und Werkzeugen zu interagieren. Während bisherige Tests oft zu simpel waren, berücksichtigt MCP‑Universe echte Anwendungsszenarien, die langanhaltendes Denken und den Umgang mit umfangreichen, unbekannten Tool‑Sammlungen erfordern.

Der Benchmark umfasst sechs zentrale Anwendungsbereiche, die über elf verschiedene MCP‑Server realisiert werden: Standortnavigation, Repository‑Management, Finanzanalyse, 3D‑Design, Browser‑Automatisierung und Web‑Suche. Für jede Aufgabe wurden ausgereifte Evaluationsmechanismen entwickelt: formatbasierte Prüfer für die Einhaltung von Agenten‑Formatvorgaben, statische Prüfer für zeitunabhängige Inhalte und dynamische Prüfer, die Echtzeit‑Ground‑Truth für zeitabhängige Aufgaben abrufen.

Bei umfangreichen Tests führten führende Modelle wie GPT‑5, Grok‑4 und Claude‑4.0‑Sonnet nur noch begrenzte Erfolge. Die erreichten Erfolgsraten lagen bei 43,72 %, 33,33 % bzw. 29,44 %. Diese Ergebnisse zeigen, dass selbst die aktuellsten Modelle noch erhebliche Schwächen aufweisen, insbesondere bei Aufgaben mit langen Kontexten und bei der Nutzung unbekannter Tools.

MCP‑Universe liefert damit ein realistisches und anspruchsvolles Testfeld, das die Grenzen moderner LLMs aufzeigt und gleichzeitig klare Richtungen für zukünftige Verbesserungen aufzeigt. Der Benchmark steht als Open‑Source‑Projekt zur Verfügung und soll Entwickler sowie Forscher dazu anregen, robuste, kontextbewusste KI‑Agenten zu entwickeln.