Graphbasierte Zielhierarchien: Neue Methode steigert Reinforcement Learning

In der neuesten Veröffentlichung auf arXiv wird ein innovativer Ansatz vorgestellt, der Graphen in Goal‑Conditioned Hierarchical Reinforcement Learning (GCHRL) integriert, um die Auswahl von Zwischenzielen zu optimieren. Der Kern der Methode ist ein Graph‑Encoder‑Decoder, der unbekannte Zustände bewertet und damit die bisherige Abhängigkeit von domänenspezifischem Wissen reduziert.

Der neue Algorithmus, genannt Graph‑Guided sub‑Goal representation Generation RL (G4RL), lässt sich nahtlos in bestehende GCHRL‑Frameworks einbinden. Besonders effektiv ist er in Umgebungen mit symmetrischen und reversiblen Übergängen, wo er die Leistung signifikant steigert, ohne die Rechenkosten wesentlich zu erhöhen.

Durch die Nutzung von intrinsischen Belohnungen aus dem Graph‑Encoder‑Decoder werden sowohl hoch‑ als auch niedrig‑stufige Ziele besser repräsentiert. Dies führt zu einer verbesserten Sample‑Effizienz und einer robusteren Übertragung von Graph‑Informationen auf neu besuchte Zustände, was bisherige Ansätze oft erschwerte.

Experimentelle Ergebnisse zeigen, dass G4RL die Performance führender GCHRL‑Methoden in dichten und spärlichen Belohnungsumgebungen deutlich erhöht. Der Ansatz bietet damit einen vielversprechenden Weg, die Grenzen von hierarchischem Reinforcement Learning zu erweitern, ohne dabei die Komplexität stark zu erhöhen.