Neues Benchmark BrowseComp‑V3 testet multimodale Web‑Agenten auf 300 Fragen

Die Forschung im Bereich multimodaler Sprachmodelle hat ein neues Maßstabsetzer-Tool vorgestellt: BrowseComp‑V3. Dieses Benchmark‑Set besteht aus 300 sorgfältig ausgewählten Fragen, die Agenten dazu herausfordern, tiefgreifende, mehrstufige und kreuzmodalistische Recherchen durchzuführen. Dabei müssen die Modelle nicht nur Text, sondern auch Bilder und andere visuelle Inhalte berücksichtigen, um die gesuchten Informationen zu finden.

Ein zentrales Merkmal von BrowseComp‑V3 ist die Forderung nach öffentlich zugänglichen Belegen. Alle benötigten Quellen müssen über das Internet abrufbar sein, was die Fairness und Reproduzierbarkeit der Tests sicherstellt. Zusätzlich wird ein Expertenvalidierter Prozess‑Evaluationsmechanismus eingesetzt, der die Zwischenschritte der Agenten analysiert und so ein detailliertes Bild ihrer Denkweise liefert.

Zur Unterstützung der Bewertung wurde OmniSeeker entwickelt – ein einheitliches Agenten‑Framework, das verschiedene Web‑Such- und Bildverarbeitungswerkzeuge integriert. In umfangreichen Experimenten erreichten selbst die fortschrittlichsten Modelle lediglich 36 % Genauigkeit. Diese niedrige Trefferquote verdeutlicht erhebliche Engpässe bei der Integration multimodaler Informationen und bei der feinkörnigen Wahrnehmung.

BrowseComp‑V3 liefert damit einen wichtigen Impuls für die Weiterentwicklung multimodaler Agenten. Durch die Kombination aus anspruchsvollen Aufgaben, transparenter Evidenzanforderung und detaillierter Prozessanalyse schafft es die Plattform, die Grenzen aktueller Technologien sichtbar zu machen und gezielte Verbesserungen zu ermöglichen.