Neues Fortschritts-Constraint für Reinforcement Learning in Behavior Trees

Behavior Trees (BTs) bieten ein strukturiertes und reaktives Entscheidungsframework, das häufig eingesetzt wird, um zwischen Untersteuerungen je nach Umweltbedingungen zu wechseln. Reinforcement Learning (RL) hingegen kann nahezu optimale Steuerungen erlernen, hat jedoch oft Probleme mit spärlichen Belohnungen, sicherer Exploration und der Zuordnung von langfristigen Erfolgen.

Die Kombination von BTs und RL verspricht gegenseitige Vorteile: Während BTs strukturiertes Domänenwissen einbetten und so das RL-Training vereinfachen, ermöglicht RL die automatische Lernsteuerung innerhalb der BTs. Ein naiver Ansatz kann jedoch dazu führen, dass einzelne Steuerungen gegeneinander arbeiten, bereits erreichte Teilziele rückgängig machen und die Gesamtleistung verschlechtern.

Um diesem Problem entgegenzuwirken, stellen die Autoren ein neues Fortschritts-Constraint vor. Dabei begrenzen Feasibility-Estimator die zulässige Aktionsmenge anhand theoretischer BT-Konvergenzresultate. In einer 2D-Proof-of-Concept-Umgebung sowie in einer hochpräzisen Lagerumgebung zeigen die Experimente eine verbesserte Leistung, höhere Stichproben-Effizienz und bessere Einhaltung der Constraints im Vergleich zu bisherigen BT‑RL-Integrationsmethoden.