SpotAgent: LVLMs meistern Geo‑Lokalisierung mit agentischem Denken

Large Vision‑Language Models (LVLMs) haben in der Lage, komplexe räumliche Fragen zu beantworten, stoßen jedoch häufig an Grenzen, wenn die visuellen Hinweise knapp, selten oder mehrdeutig sind. Solche Situationen führen zu unbestätigten, selbstbewussten Vorhersagen, die in der Praxis wenig Nutzen bringen.

SpotAgent löst dieses Problem, indem es die Geo‑Lokalisierung in einen agentischen Denkprozess überführt. Das System nutzt externe Werkzeuge – etwa Web‑Suche und Karten‑APIs – um visuelle Signale aktiv zu erkunden und zu verifizieren. Durch die Kombination von visueller Interpretation und tool‑gestützter Bestätigung werden die Ergebnisse verlässlich und nachvollziehbar.

Der Ansatz besteht aus drei aufeinanderfolgenden Phasen: Zunächst erfolgt ein Supervised Fine‑Tuning, um die Grundausrichtung des Modells zu sichern. Darauf folgt ein Agentic Cold‑Start, bei dem hochwertige Pfade aus einem Multi‑Agenten‑Framework generiert werden, um das Tool‑Aufruf‑Verhalten zu trainieren. Abschließend wird die Denkfähigkeit mittels Reinforcement Learning verfeinert, wobei ein räumlich bewusster Filter die Lernsamples priorisiert und die Effizienz steigert.

Umfangreiche Tests auf etablierten Benchmarks zeigen, dass SpotAgent den aktuellen Stand der Technik übertrifft. Das Modell reduziert Halluzinationen drastisch und liefert präzise, überprüfbare Geo‑Lokalisierungen – ein bedeutender Fortschritt für Anwendungen, die auf verlässliche Standortinformationen angewiesen sind.