Transformer‑World‑Models: Speichermechanismen verlängern Vorhersagehorizonte

In der neuesten Studie von ArXiv 2512.06983v1 wird untersucht, wie Transformer‑basierte Weltmodelle ihre Gedächtnisleistung verbessern können. Weltmodelle ermöglichen es Agenten, innerhalb imaginärer Umgebungen zu planen, indem sie zukünftige Zustände anhand vergangener Beobachtungen und Aktionen vorhersagen. Ihre Fähigkeit, über lange Zeiträume zu planen, ist jedoch stark durch die effektive Speicherspanne der zugrunde liegenden Architektur begrenzt.

Die Autoren führen eine detaillierte Analyse verschiedener Speichererweiterungsmechanismen durch und stellen eine klare Taxonomie vor, die zwischen Speicher‑Kodierung und Speicher‑Injektion unterscheidet. Diese Unterscheidung hilft, die Rolle jedes Mechanismus im Kontext der Residual‑Stream‑Dynamik zu verstehen und zeigt, wie sie das Gedächtnis des Modells erweitern können.

Durch einen State‑Recall‑Evaluationsaufgabe wird die Erinnerungsfähigkeit jedes Mechanismus gemessen. Die Ergebnisse zeigen, dass die neuen Speichermechanismen die effektive Speicherspanne in Vision‑Transformern deutlich erhöhen und damit die Möglichkeit eröffnen, Loop‑Closures innerhalb der imaginären Trajektorien eines Weltmodells erfolgreich abzuschließen.

Die Studie liefert damit einen wichtigen Beitrag zur Weiterentwicklung von Weltmodellen und eröffnet neue Wege, um die Planung über lange Horizonte hinweg zuverlässiger zu gestalten.