Do It for HER: Belohnungsspezifikation in RL mit First-Order Temporaler Logik

In einer wegweisenden Veröffentlichung stellen die Autoren ein neues Framework vor, das die logische Spezifikation von nicht-Markovianen Belohnungen in Markov Decision Processes (MDPs) mit riesigen Zustandsräumen ermöglicht. Durch den Einsatz von Linear Temporal Logic Modulo Theories über endliche Spuren (LTLfMT) wird die klassische temporale Logik um erste‑Ordnung‑Formeln beliebiger Theorien erweitert, wodurch komplexe Aufgaben über unstrukturierte und heterogene Datenbereiche präzise beschrieben werden können.

Die erweiterte Ausdruckskraft von LTLfMT eröffnet die Möglichkeit, Aufgaben ohne manuelle Predicate‑Kodierung zu definieren und damit ein einheitliches, wiederverwendbares System zu schaffen. Gleichzeitig bringt die höhere Komplexität theoretische und rechnerische Herausforderungen mit sich. Die Autoren identifizieren einen handhabbaren Fragment von LTLfMT, der dennoch ausreichend ausdrucksstark ist, um Belohnungen in unendlichen Zustandsräumen zu spezifizieren.

Praktisch wird ein Ansatz vorgestellt, der Reward Machines mit Hindsight Experience Replay (HER) kombiniert, um erste‑Ordnung‑Logik-Spezifikationen in Belohnungsstrukturen zu übersetzen und die Belohnungssparsheit zu überwinden. In einem kontinuierlichen Kontrollsetting unter Einsatz von Nichtlinearer Arithmetik wird gezeigt, dass komplexe Aufgaben auf natürliche Weise spezifiziert werden können. Die Experimente demonstrieren, dass eine maßgeschneiderte HER‑Implementierung entscheidend ist, um Ziele mit hoher Komplexität erfolgreich zu erreichen.