Neues Verfahren extrahiert aus Spielvideos präzise Weltmodelle als Programme

In einer aktuellen Veröffentlichung auf arXiv präsentiert ein Forschungsteam ein innovatives Verfahren namens Finite Automata Extraction (FAE), das aus kurzen Gameplay-Videos neuro-symbolische Weltmodelle erstellt. Diese Modelle fassen die räumlichen und zeitlichen Dynamiken eines Spiels in einer kompakten, lernbaren Darstellung zusammen, die weit über die üblichen neuronalen Netzwerke hinausgeht.

FAE nutzt eine neu entwickelte domänenspezifische Sprache namens Retro Coder, um die extrahierten Modelle als ausführbare Programme zu repräsentieren. Dadurch wird nicht nur die Genauigkeit der Modellierung erhöht, sondern auch die Übertragbarkeit und Erklärbarkeit der erlernten Umgebungsdynamiken verbessert. Im Vergleich zu bisherigen Ansätzen liefert FAE präzisere Modelle und allgemeinere Code‑Strukturen, was die Anwendung in verschiedenen Spielumgebungen erleichtert.

Das Verfahren eröffnet neue Möglichkeiten für die Entwicklung von KI‑Systemen, die aus wenigen Datenquellen lernen und gleichzeitig nachvollziehbare, programmierbare Modelle erzeugen können. Es markiert einen bedeutenden Schritt in Richtung einer besseren Integration von Symbolik und Deep Learning bei der Modellierung komplexer virtueller Welten.