Eikonal-Constrained Quasimetric RL: Zielerreichung ohne Trajektorien

In der Welt des zielbedingten Verstärkungslernens (GCRL) wird die Herausforderung der Belohnungs­gestaltung durch die Umwandlung von Aufgaben in reine Zielerreichungs­probleme gemildert. Dabei entsteht von Natur aus eine Quasimetri­sche Struktur in der optimalen, zielbedingten Wertfunktion, was die Entwicklung von Quasimetri­schem RL (QRL) vorantreibt.

Das neue Verfahren Eikonal‑beschränktes Quasimetri­sche RL (Eik‑QRL) stellt eine kontinuierliche Zeit‑Reformulierung von QRL dar, die auf der Eikonal‑partiellen Differentialgleichung basiert. Durch diese PDE‑basierte Architektur wird Eik‑QRL trajektorienfrei – es werden lediglich Stichproben von Zuständen und Zielen benötigt. Gleichzeitig verbessert es die Generalisierung außerhalb der Trainingsverteilung. Die Autoren liefern theoretische Garantien für das Verfahren und weisen zugleich auf Einschränkungen bei komplexen Dynamiken hin.

Um diese Grenzen zu überwinden, wird Eik‑HiQRL vorgestellt, ein hierarchischer Ansatz, der Eik‑QRL in eine mehrstufige Zerlegung integriert. In Experimenten erzielt Eik‑HiQRL einen neuen Stand der Technik bei offline-gelenk­basierten Navigationsaufgaben und erzielt konsistente Verbesserungen gegenüber QRL in Manipulationsaufgaben, wobei die Leistung mit klassischen Temporal‑Difference‑Methoden vergleichbar ist.

Diese Fortschritte markieren einen bedeutenden Schritt in Richtung robuster, generalisierbarer zielbasierten Verstärkungslernen, mit vielversprechenden Anwendungen in Robotik, Navigation und darüber hinaus.