MCPGAUGE: Neuer Benchmark enthüllt Grenzen von Tool‑gestützten LLMs

Die Einführung des Model Context Protocol (MCP) hat die Vorstellung geweckt, dass große Sprachmodelle (LLMs) durch den Zugriff auf externe Ressourcen deutlich leistungsfähiger werden. Doch wie diese Fähigkeit tatsächlich genutzt wird, blieb bislang unklar. Mit dem neuen Evaluationsframework MCPGAUGE liefert die aktuelle Studie erstmals einen systematischen Einblick.

MCPGAUGE besteht aus 160 sorgfältig ausgewählten Prompts und 25 Datensätzen, die die Bereiche Wissensverständnis, allgemeines Denken und Code‑Generierung abdecken. In einer umfangreichen Untersuchung wurden sechs kommerzielle LLMs, 30 verschiedene MCP‑Tool‑Suiten sowie ein‑ und zweiseitige Interaktionssettings getestet. Insgesamt wurden rund 20.000 API‑Aufrufe durchgeführt, was einen Kostenaufwand von über 6.000 USD bedeutet.

Die Ergebnisse stellen die gängigen Annahmen über die Effektivität von MCP‑Integration in Frage. Sie zeigen, dass die Modelle nicht immer proaktiv Tools nutzen, nicht immer den Anweisungen folgen und die erzielte Leistungsverbesserung oft geringer ist als erwartet. Gleichzeitig verdeutlichen die Erkenntnisse die bestehenden Einschränkungen bei der Kombination von KI und externen Werkzeugen.

Durch die Bereitstellung eines klaren, nachvollziehbaren Benchmarks bietet MCPGAUGE Forschern und Entwicklern ein wertvolles Instrument, um die Kontrolle und die Integration von Tools in LLMs gezielt zu verbessern. Die Studie legt damit den Grundstein für die nächste Generation von anpassbaren, tool‑unterstützten Sprachmodellen.