LLMs lernen, Fragen zu stellen: Selbstabfrage in kategorischer Planung reduziert Fehler

In der aktuellen Forschung wird ein neues Verfahren namens Self‑Querying Bidirectional Categorical Planning (SQ‑BCP) vorgestellt, das große Sprachmodelle (LLMs) dazu befähigt, fehlende Vorbedingungen aktiv zu erfragen und dadurch fehlerhafte Pläne zu vermeiden. Das System unterscheidet explizit zwischen erfüllten, verletzten und unbekannten Vorbedingungen und löst Unklarheiten entweder durch gezielte Selbstabfragen an einen Benutzer oder durch sogenannte „Bridging“-Hypothesen, die fehlende Bedingungen durch zusätzliche Aktionen herstellen.

Der Ansatz kombiniert eine bidirektionale Suche mit einem pullback‑basierten Verifikator, der als kategorisches Zertifikat die Zielkompatibilität prüft. Nur wenn der Verifikator erfolgreich ist und die harten Constraints deterministisch bestehen, gilt ein Plan als gültig. Die Autoren zeigen theoretisch, dass SQ‑BCP unter begrenzter Verzweigung und endlicher Auflösungstiefe einen akzeptierenden Plan findet, sofern einer existiert.

In praktischen Tests auf den Datensätzen WikiHow und RecipeNLG, bei denen wichtige Vorbedingungen bewusst ausgelassen wurden, senkt SQ‑BCP die Raten von Ressourcenverletzungen auf 14,9 % bzw. 5,8 % – deutlich besser als die besten Vergleichsmodelle mit 26,0 % bzw. 15,7 %. Gleichzeitig bleibt die Qualität der generierten Referenzen konkurrenzfähig, was die Methode zu einem vielversprechenden Ansatz für robustere Planungsaufgaben mit Sprachmodellen macht.