Welt-Action-Modell steigert Robotik-Policy-Training um 30 %

Ein neues Forschungsdokument aus dem Bereich der künstlichen Intelligenz präsentiert das World‑Action‑Model (WAM), ein innovatives Weltmodell, das Aktionen und zukünftige visuelle Beobachtungen gleichzeitig berücksichtigt. Durch die Einbindung einer inversen Dynamikaufgabe in DreamerV2 kann WAM Aktionen aus latenten Zustandsübergängen vorhersagen und damit die Repräsentationen so formen, dass sie entscheidende Aktionsstrukturen für die spätere Steuerung erfassen.

Die Autoren testen WAM an acht Manipulationsaufgaben des CALVIN‑Benchmarks. Zunächst wird eine Diffusions‑Policy mittels Verhaltensklonierung auf den latenten Zuständen des Weltmodells vortrainiert. Anschließend wird die Policy mit modellbasiertem PPO innerhalb des eingefrorenen Weltmodells verfeinert, ohne die Architektur oder das Trainingsverfahren zu verändern.

Die Ergebnisse sind beeindruckend: Der durchschnittliche Erfolg der Verhaltensklonierung steigt von 59,4 % auf 71,2 % im Vergleich zu DreamerV2 und DiWA. Nach dem PPO‑Feintuning erreicht WAM einen durchschnittlichen Erfolg von 92,8 % gegenüber 79,8 % bei den Baselines, wobei zwei Aufgaben sogar 100 % erreichen. Dabei werden 8,7‑mal weniger Trainingsschritte benötigt.

WAM demonstriert, wie die Kombination von Aktionsregularisierung und inverser Dynamik die Lernleistung von Robotik‑Policies signifikant verbessern kann. Diese Fortschritte könnten die Entwicklung effizienterer, schneller lernender Robotersysteme vorantreiben und neue Möglichkeiten für komplexe Manipulationsaufgaben eröffnen.