Multistep-Quasimetric-Lernen: Skalierbares zielorientiertes RL

Ein neuer Ansatz im Bereich des zielorientierten Reinforcement Learning (Goal‑Conditioned RL) hat die Grenzen des Lernens über lange Zeiträume neu definiert. Durch die Kombination von temporalen Differenzmethoden, die lokale Updates mit optimalen Garantien verbinden, und Monte‑Carlo‑Ansätzen, die globale Updates über mehrere Schritte ermöglichen, entsteht ein Verfahren, das die zeitliche Distanz zwischen Beobachtungspaaren als Quasimetric modelliert. Das Ergebnis ist ein skalierbares Lernsystem, das in simulierten Aufgaben mit bis zu 4.000 Zeitschritten – selbst bei visuellen Eingaben – die bisherigen Methoden deutlich übertrifft. Noch beeindruckender ist die Anwendung in der realen Robotik: Mit einem unlabelten Offline‑Datensatz visueller Beobachtungen kann das System komplexe Manipulationsaufgaben im Bridge‑Setup „stitchen“, also aus einzelnen Sequenzen zusammensetzen. Damit stellt es das erste end‑to‑end‑GCRL‑Verfahren dar, das Multistep‑Stitching in einer realen Manipulationsdomäne ermöglicht.