ToolScope: Agentisches Framework für multimodale Tool‑Nutzung in Visionaufgaben

In der jüngsten Veröffentlichung auf arXiv (2510.27363v1) wird ToolScope vorgestellt – ein neues, agentisches Framework, das große Sprachmodelle (LLMs) mit multimodaler Wahrnehmung und externen Tools verbindet. Ziel ist es, die bislang schwierige Aufgabe zu lösen, wie multimodale große Sprachmodelle (MLLMs) flexibel und effizient auf externe Hilfsmittel zugreifen können, um komplexe, visuell gestützte Fragen zu beantworten.

ToolScope besteht aus drei Kernkomponenten: dem Global Navigator, dem Agentic Executor und dem Response Synthesizer. Der Global Navigator fungiert als strategische „Teleskop“-Komponente und liefert hochrangige Planungshilfen. Der Agentic Executor arbeitet iterativ und erweitert das MLLM um lokale Wahrnehmung, indem er die Tools Search, Code und Perceive integriert. Der Response Synthesizer fasst schließlich die gesamte Argumentationskette zusammen und präsentiert sie in einer klaren, benutzerfreundlichen Form.

Die Autoren haben ToolScope an vier unterschiedlichen VQA-Benchmarks getestet – VQA 2.0, ScienceQA, MAT‑Search und MathVista. Die Ergebnisse zeigen, dass ToolScope die Leistung in allen vier Datensätzen um durchschnittlich bis zu 6,69 % steigert, was die starke Generalisierungsfähigkeit des Ansatzes unterstreicht. Damit demonstriert ToolScope, wie ein gut strukturiertes Framework die Interaktion zwischen multimodalen Modellen und externen Tools optimieren kann, um anspruchsvolle visuelle Aufgaben zu lösen.