BayesianVLA: Zerlegung von VLA-Modellen mit latenten Aktionsabfragen

Vision‑Language‑Action‑Modelle (VLA) haben in der Robotik vielversprechende Fortschritte erzielt, stoßen jedoch häufig an ihre Grenzen, wenn neue Anweisungen oder komplexe Mehraufgaben-Szenarien zu bewältigen sind. Forscher haben ein entscheidendes Problem in den gängigen Trainingsparadigmen identifiziert: Durch zielgerichtete Datensammlung entsteht ein starkes Dataset‑Bias, bei dem Sprachbefehle fast ausschließlich aus den visuellen Beobachtungen vorhergesagt werden können. Dadurch verschwindet die bedingte gegenseitige Information zwischen Anweisungen und Aktionen – ein Phänomen, das als Information Collapse bezeichnet wird. Infolgedessen degenerieren Modelle zu rein visuellen Politiken, die Sprachbeschränkungen ignorieren und in Out‑of‑Distribution‑Situationen scheitern.

Um diesem Problem entgegenzuwirken, präsentiert das neue BayesianVLA‑Framework einen innovativen Ansatz, der die Befolgung von Anweisungen durch eine bayessche Zerlegung erzwingt. Durch die Einführung lernbarer Latent Action Queries entsteht eine Dual‑Branch‑Architektur, die sowohl eine visuell‑basierte Prior‑Verteilung p(a|v) als auch eine sprachkonditionierte Posterior‑Verteilung π(a|v,ℓ) schätzt. Das Ziel ist es, die Policy so zu optimieren, dass die bedingte Pointwise Mutual Information (PMI) zwischen Aktionen und Anweisungen maximiert wird. Dieses Ziel penalisiert die reine visuelle Abkürzung und belohnt Aktionen, die die Sprachbefehl explizit erklären.

Wichtig ist, dass BayesianVLA ohne zusätzliche Datenerfassung auskommt und dennoch die Generalisierung erheblich verbessert. Umfangreiche Experimente auf den Benchmark‑Umgebungen SimplerEnv und RoboCasa zeigen deutliche Fortschritte, darunter eine 11,3 %ige Steigerung auf dem anspruchsvollen OOD‑Benchmark von SimplerEnv. Diese Ergebnisse bestätigen die Fähigkeit des Ansatzes, Sprache robust in Aktionen zu verankern.

BayesianVLA bietet damit einen methodisch fundierten Weg, Dataset‑Bias zu reduzieren, die Sprachbindung zu stärken und die Zuverlässigkeit von Vision‑Language‑Action‑Modellen in realen, variablen Szenarien zu erhöhen.