Transformers können Pläne zuverlässig prüfen – neue Theorie bestätigt

Eine neue Veröffentlichung auf arXiv (2603.19954v1) beleuchtet die bislang unklare Fähigkeit von Transformer‑Modellen, die Richtigkeit von Handlungsabläufen in Planungsaufgaben zu überprüfen. Die Autoren zeigen, dass die bisher gemischten Ergebnisse bei AI‑Planning auf fehlende theoretische Grundlagen zurückzuführen sind.

Der Fokus liegt auf decoder‑only Modellen, die prüfen sollen, ob ein gegebener Plan ein bestimmtes Planungsproblem löst. Dazu wird ein neues Analyse‑Framework vorgestellt, das die Herausforderung adressiert, dass sowohl die Sequenzlänge als auch die Anzahl der Objekte – und damit das effektive Alphabet – beim Testen wachsen können.

Mit der Erweiterung C*-RASP, die auf dem bereits bekannten C‑RASP aufbaut, erhalten die Forscher nun formale Garantien für die Längen‑Generalisation von Transformern. Das bedeutet, dass die Modelle nicht nur kurze, sondern auch lange Pläne zuverlässig verifizieren können, solange bestimmte strukturelle Eigenschaften der Planungsdomäne erfüllt sind.

Die theoretischen Erkenntnisse werden durch umfangreiche Experimente untermauert. Die Ergebnisse zeigen, dass Transformer in einer großen Klasse klassischer Planungsaufgaben tatsächlich lernen können, lange Pläne zu validieren, und dass die identifizierten Struktureigenschaften entscheidend für die Lernfähigkeit sind. Diese Arbeit liefert damit einen wichtigen Schritt zur besseren Verständlichkeit und Zuverlässigkeit von KI‑Planern.