Neues Modell macht visuelle Weltmodelle robuster gegen Hintergrundänderungen

Ein neues Forschungsprojekt präsentiert ein innovatives Verfahren, mit dem Agenten aus hochdimensionalen Bilddaten lernen, Entscheidungen zu treffen und zu planen – ohne sich auf die pixelgenaue Rekonstruktion zu verlassen. Die Technik nutzt sogenannte Joint‑Embedding Predictive World Models (JEPAs), die die Welt in einem kompakten latenten Raum beschreiben.

Allerdings zeigen aktuelle JEPAs, wie das DINO‑World‑Model, bei Tests eine deutlich geringere Robustheit, wenn sich die Umgebung langsam ändert – etwa durch Hintergrundwechsel oder Ablenkungen, die für die Aufgabe irrelevant sind. Diese „slow features“ führen dazu, dass das Modell bei neuen Testbedingungen versagt.

Die Autoren lösen dieses Problem, indem sie das Vorhersageziel mit einem Bisimulation‑Encoder erweitern. Dieser Encoder zwingt das Modell, Zustände mit ähnlicher Übergangsdynamik in benachbarte latente Punkte abzubilden und gleichzeitig die Einflüsse von slow features zu minimieren. Das Ergebnis ist ein kompakterer latenter Raum, der bis zu zehnmal kleiner als bei DINO‑WM ist, und eine deutlich verbesserte Robustheit gegenüber Hintergrundänderungen und visuellen Ablenkungen.

Die Wirksamkeit wurde an einer einfachen Navigationsaufgabe getestet, bei der die Testumgebung unterschiedliche Hintergründe und Ablenkungen aufwies. In allen Benchmarks zeigte das neue Modell konsistente Verbesserungen in der Robustheit. Zudem bleibt die Leistung stabil, wenn es mit verschiedenen vortrainierten visuellen Encodern wie DINOv2, SimDINOv2 oder iBOT kombiniert wird.