R3: Dual-Prozess-System verbessert Vision-and-Language Navigation um 3,3 %

In der Vision-and-Language Navigation (VLN) muss ein Agent komplexe 3‑D‑Umgebungen dynamisch erkunden und dabei menschliche Anweisungen befolgen. Trotz der beeindruckenden Allgemeinwissen‑ und Denkfähigkeiten großer Sprachmodelle (LLMs) bleibt die Leistung dieser Modelle hinter der von Domänenexperten zurück, weil sie reale räumliche Zusammenhänge nicht präzise erfassen können. Zudem verursachen LLMs hohe Rechenkosten und lange Inferenzzeiten.

Um diese Herausforderungen zu überwinden, präsentiert das neue R3‑Framework ein Dual‑Prozess‑Denksystem, das die Stärken von LLMs mit spezifischem VLN‑Know‑How kombiniert. R3 besteht aus drei Modulen: dem Runner, einem leichten transformer‑basierten Expertenmodell, das effiziente und genaue Navigation in normalen Situationen gewährleistet; dem Ruminator, der ein multimodales LLM nutzt und mithilfe von Chain‑of‑Thought‑Prompting strukturiertes Denken anstößt; und dem Regulator, der den Fortschritt überwacht und den passenden Denkmodus anhand dreier Kriterien steuert, sodass Runner und Ruminator harmonisch zusammenarbeiten.

Experimentelle Ergebnisse zeigen, dass R3 die bisherigen Spitzenleistungen deutlich übertrifft. Auf dem REVERIE‑Benchmark erzielt es einen Anstieg von 3,28 % in SPL und 3,30 % in RGSPL, was die Wirksamkeit des Dual‑Prozess‑Ansatzes unterstreicht.