Zero-Shot-Anweisungsverfolgung in RL dank strukturierter LTL‑Darstellungen

Linear Temporal Logic (LTL) bietet ein kraftvolles Mittel, um komplexe und strukturierte Aufgaben für Reinforcement‑Learning‑Agenten zu formulieren. Durch die Interpretation von LTL‑Anweisungen als endliche Automaten – quasi als hochrangige Programme, die den Fortschritt überwachen – lässt sich ein einzelner, generalistischer Policy-Ansatz entwickeln, der beliebige Anweisungen im Testzeitpunkt ausführen kann.

Allerdings stoßen bisherige Methoden an ihre Grenzen, wenn mehrere hochrangige Ereignisse gleichzeitig wahr sein können und sich auf komplizierte Weise gegenseitig beeinflussen. Um dieses Problem zu lösen, schlägt die neue Arbeit einen Ansatz vor, bei dem die Policy direkt auf Sequenzen einfacher Boolescher Formeln konditioniert wird. Diese Formeln entsprechen exakt den Übergängen im Automaten und werden mithilfe eines Graph‑Neural‑Networks (GNN) verarbeitet, um strukturierte Aufgabenrepräsentationen zu erzeugen.

In umfangreichen Experimenten, die ein komplexes, schachbasiertes Umfeld nutzen, demonstriert die Methode deutliche Vorteile gegenüber bisherigen Ansätzen. Die Ergebnisse zeigen, dass die Kombination aus LTL‑Struktur, Booleschen Formeln und GNN‑Kodierung eine robuste Zero‑Shot-Anweisungsverfolgung ermöglicht, selbst in Szenarien mit stark interagierenden Ereignissen.