ForeAct: Effiziente Visual‑Foresight‑Planung für Vision‑Language‑Action‑Modelle

ForeAct ist ein neuer Planner, der Vision‑Language‑Action‑Modelle (VLA) dabei unterstützt, komplexe Aufgaben zu bewältigen, indem er zukünftige visuelle Szenen vorhersagt und dazu passende Teilaufgabenbeschreibungen generiert.

Im Kern steht ein hochschnelles Foresight‑Bildgenerator-Modul, das innerhalb von nur 0,33 Sekunden auf einer NVIDIA H100 GPU ein Bild der nächsten Beobachtung mit einer Auflösung von 640 × 480 Pixeln erzeugt. Dadurch kann das VLA sich auf visuo‑motorische Inferenz konzentrieren, anstatt umfangreiche semantische Überlegungen anzustellen.

Der Planner lässt sich nahtlos in jede bestehende VLA‑Architektur integrieren – er erweitert lediglich die visuellen Eingaben, ohne dass eine architektonische Änderung erforderlich ist.

Der Foresight‑Generator wurde auf über 1 Millionen Multi‑Task‑ und Cross‑Embodiment‑Episoden vortrainiert, wodurch er robuste Kenntnisse über eingebettete Dynamiken erlangt hat.

In Tests auf einem Benchmark aus 11 vielfältigen, mehrstufigen realen Aufgaben erzielte ForeAct einen durchschnittlichen Erfolgswert von 87,4 %. Das entspricht einer absoluten Verbesserung von 40,9 % gegenüber dem Basis‑Modell π₀ und einer Steigerung von 30,3 % gegenüber π₀, das mit textueller Teilaufgabenführung ergänzt wurde.

Diese Ergebnisse demonstrieren, dass die Kombination aus vorgestellter Bildvorhersage und subtask‑generierter Sprache die Leistung von VLA‑Modellen deutlich steigert und gleichzeitig die Implementierung vereinfacht.