Causal-JEPA: Weltmodelle lernen durch objektbezogene latente Interventionen

In einem brandneuen Beitrag auf arXiv wird ein innovatives Konzept vorgestellt, das die Art und Weise, wie Weltmodelle lernen, grundlegend verändert. Weltmodelle müssen nicht nur einzelne Objekte erkennen, sondern auch deren wechselseitige Beziehungen verstehen, um Vorhersagen, Schlussfolgerungen und Steuerungen zuverlässig durchführen zu können. Traditionelle objektzentrierte Darstellungen reichen dafür jedoch nicht aus, wenn die Dynamik stark von Interaktionen abhängt.

Die Autoren präsentieren C-JEPA, ein einfaches und zugleich flexibles Modell, das die Technik des Masked Joint Embedding Prediction von Bildpatches auf objektzentrierte Repräsentationen überträgt. Durch das gezielte Maskieren von Objekten wird das Modell gezwungen, den Zustand eines Objekts aus den Informationen der übrigen Objekte zu rekonstruieren. Dieser Ansatz erzeugt latente Interventionen, die kausal wirkende, kontrafaktische Effekte nachahmen und die Bildung von Abkürzungen verhindert. Damit wird Interaktionsverständnis zu einer zwingenden Voraussetzung.

Die experimentellen Ergebnisse sind beeindruckend: Bei Visual‑Question‑Answering‑Aufgaben erzielt C-JEPA einen absoluten Gewinn von rund 20 % in der kontrafaktischen Beantwortung im Vergleich zu identischen Architekturen ohne objektbezogenes Maskieren. Auf Agenten‑Kontrollaufgaben ermöglicht das Modell eine deutlich effizientere Planung, indem es lediglich 1 % der latenten Eingangsmerkmale nutzt, die bei patchbasierten Modellen erforderlich wären, und dennoch vergleichbare Leistungen erbringt.

Eine formale Analyse untermauert die Beobachtungen, indem gezeigt wird, dass das objektbezogene Maskieren einen kausalen Induktionsbias durch latente Interventionen einführt. Der komplette Code ist öffentlich zugänglich unter https://github.com/galilai-group/cjepa.