SeeNav-Agent steigert Navigation mit Visual Prompt & Step‑Level Optimierung

Eine neue Forschungsarbeit präsentiert den SeeNav‑Agent, der die Leistung von Vision‑Language‑Navigation (VLN) deutlich verbessert. Durch die Kombination eines dual‑View Visual Prompt und einer Step‑Level Policy Optimierung werden typische Fehlerquellen wie Wahrnehmungs‑ und Planungsfehler reduziert.

Der Visual Prompt nutzt zwei gleichzeitig verarbeitete Bildansichten, um Halluzinationen im visuellen Modul zu minimieren. Gleichzeitig stärkt er das Verständnis des Agenten für die aktuelle räumliche Situation, was die Genauigkeit der Wahrnehmung erheblich erhöht.

Für die Feinabstimmung der Agenten wird die Step Reward Group Policy Optimization (SRGPO) eingesetzt. Diese Methode definiert überprüfbare Prozessbelohnungen und schätzt die Vorteile einzelner Navigationsschritte effizient, indem sie verschiedene Schritte zufällig gruppiert. Das Ergebnis ist ein dichter Belohnungsstrom, der die Planungsfähigkeit des Agenten stärkt.

Experimentelle Tests auf dem EmbodiedBench Navigation Benchmark zeigen beeindruckende Ergebnisse: Mit dem Zero‑Shot Visual Prompt erreicht GPT‑4.1 eine Erfolgsrate von 86,7 %, was etwa 20 Prozentpunkte über dem aktuellen Best‑LVLM liegt. Nach der SRGPO‑Feinabstimmung erzielt das Modell Qwen2.5‑VL‑3B eine Erfolgsrate von 72,3 %, 5,6 Prozentpunkte besser als das beste bestehende LVLM. Im Vergleich zu anderen RFT‑Algorithmen wie GRPO und GiGPO übertrifft SRGPO die Leistung deutlich.

Der SeeNav‑Agent setzt damit einen neuen Standard für Vision‑Language‑Navigation und eröffnet vielversprechende Perspektiven für die Anwendung in realen Navigationsaufgaben.