GeoAgentBench: Dynamisches Benchmark für KI-gestützte GIS-Agenten

Die Integration von Large Language Models (LLMs) in Geoinformationssysteme (GIS) eröffnet ein neues Zeitalter autonomer räumlicher Analysen. Doch die Bewertung dieser KI-Agenten gestaltet sich schwierig, weil geographische Workflows komplex und mehrstufig sind.

Mit GeoAgentBench (GABench) wird dieses Problem angegangen. Das Benchmark bietet einen realistischen Ausführungs-Sandbox, der 117 atomare GIS-Tools und 53 typische Analyseaufgaben aus sechs Kernbereichen umfasst. Dadurch kann die Leistung von Tool-gestützten Agenten in einer dynamischen Umgebung gemessen werden.

Zur Messung der Parameterpräzision wurde die Parameter Execution Accuracy (PEA) eingeführt, die mithilfe einer „Last‑Attempt Alignment“-Strategie die Genauigkeit impliziter Parameterabfragen quantifiziert. Ergänzend wird ein Vision‑Language‑Model (VLM) eingesetzt, um die räumliche Genauigkeit und die kartografische Stilkonformität zu prüfen. Um häufige Fehler durch falsche Parameter oder Laufzeitprobleme zu reduzieren, wurde die neue Agentenarchitektur Plan‑and‑React entwickelt, die globale Planung von reaktiver Ausführung trennt.

In umfangreichen Experimenten mit sieben führenden LLMs zeigte sich, dass das Plan‑and‑React-Paradigma die Ausführungserfolge signifikant steigert. GeoAgentBench liefert damit ein umfassendes, dynamisches Werkzeug, um die Leistungsfähigkeit von KI-unterstützten GIS-Agenten realitätsnah zu bewerten.