Neue Weltmodelle nutzen latente Aktionen für effiziente Kontrolle ohne gelabelte Daten

Forscher haben ein neues Konzept für Weltmodelle vorgestellt, das die Grenzen herkömmlicher Ansätze sprengt: Statt ausschließlich auf action‑beschrifteten Trajektorien zu setzen, lernen die Modelle aus einer Mischung aus interaktiven und passiven Daten. Durch die Einführung einer gemeinsamen latenten Aktionsdarstellung können beobachtete Steuerungsimpulse mit aus Videos oder anderen nicht‑interaktiven Quellen abgeleiteten Aktionen abgeglichen werden.

Dieses Verfahren erlaubt es, ein einziges Dynamikmodell mit riesigen Mengen an unlabeled Trajektorien zu trainieren, während lediglich ein kleiner Satz an action‑beschrifteten Beispielen benötigt wird. Die latente Aktionsrepräsentation verbindet die beiden Datenquellen nahtlos und macht das Modell deutlich robuster gegenüber fehlenden Aktionslabels.

Die Entwickler haben die Methode anschließend in einer Offline‑Reinforcement‑Learning‑Umgebung getestet. Auf der DeepMind Control Suite erzielte das System starke Leistungen, obwohl es rund zehnmal weniger action‑beschriftete Daten als klassische Modelle benötigte. Damit demonstriert die Arbeit, dass latente Aktionen die effiziente Nutzung von sowohl passiven als auch interaktiven Daten ermöglichen und die Lerngeschwindigkeit von Weltmodellen erheblich steigern.