Neue Methode CHDP optimiert hybride Aktionsräume in Reinforcement Learning

In der Robotik und im Game‑AI wird häufig ein hybrider Aktionsraum eingesetzt, der aus diskreten Entscheidungen und kontinuierlichen Parametern besteht. Das effiziente Modellieren und Optimieren dieser Kombination stellt jedoch ein zentrales Problem dar, weil herkömmliche Politiken oft nicht genügend Ausdruckskraft besitzen und in hochdimensionalen Räumen schlecht skalieren.

Um dieses Problem zu lösen, hat ein Forschungsteam einen neuen Ansatz namens Cooperative Hybrid Diffusion Policies (CHDP) entwickelt. CHDP betrachtet den hybriden Aktionsraum als ein vollständig kooperatives Spiel und setzt dafür zwei Agenten ein: einen, der eine diskrete Diffusionspolitik nutzt, und einen zweiten, der eine kontinuierliche Diffusionspolitik einsetzt. Letztere wird explizit an die Repräsentation der diskreten Aktion geknüpft, sodass die Abhängigkeit zwischen beiden Teilen modelliert wird.

Durch diese kooperative Struktur können die beiden Diffusionspolitiken ihre volle Ausdruckskraft entfalten und komplexe Verteilungen in ihren jeweiligen Aktionsräumen erfassen. Um Konflikte bei gleichzeitigen Updates zu vermeiden, wird ein sequentielles Aktualisierungsschema verwendet, das eine gegenseitige Anpassung fördert.

Ein weiteres Problem bei großen diskreten Aktionsräumen ist die Skalierbarkeit. CHDP löst dies, indem es einen Codebook-Ansatz einführt, der die diskrete Aktion in einen kompakteren, latenten Raum abbildet. Dadurch kann die diskrete Politik in einer strukturierten, niedrigdimensionalen Umgebung lernen. Zusätzlich sorgt ein Q‑Funktions‑basierter Leitmechanismus dafür, dass die Embeddings des Codebooks während des Trainings mit der Repräsentation der diskreten Politik in Einklang gebracht werden.

Tests auf anspruchsvollen hybriden Aktionsbenchmarks zeigen, dass CHDP die Leistung deutlich verbessert und die Lernzeit reduziert. Der Ansatz bietet damit einen vielversprechenden Weg, um komplexe Aktionsräume in Reinforcement‑Learning‑Anwendungen effizient zu handhaben.