Offline RL & Cross-Embodiment: Robotik‑Policies aus heterogenen Datensätzen

In einer wegweisenden Studie wird gezeigt, wie Offline‑Reinforcement‑Learning (RL) in Kombination mit Cross‑Embodiment‑Learning die Entwicklung universeller Robotik‑Policies beschleunigt. Durch die Nutzung von Experten‑ und umfangreichen suboptimalen Daten können Modelle aus einer Vielzahl von Robotermorphologien lernen, ohne dass für jede Plattform separate Demonstrationen gesammelt werden müssen.

Die Autoren haben ein umfangreiches Set aus 16 unterschiedlichen Robotern erstellt, das sowohl optimale als auch suboptimale Trajektorien enthält. Die Experimente demonstrieren, dass das kombinierte Offline‑RL‑Cross‑Embodiment‑Paradigma bei der Vor‑Trainierung deutlich besser abschneidet als reine Behavior‑Cloning‑Methoden, insbesondere wenn die Datensätze reich an suboptimalen Pfaden sind.

Mit zunehmender Menge an suboptimalen Daten und einer größeren Vielfalt an Robotertypen treten jedoch Konflikte zwischen den Gradienten verschiedener Morphologien auf, die das Lernen behindern. Um diesem Problem zu begegnen, wurde eine Embodiment‑basierte Gruppierungsstrategie eingeführt: Roboter werden nach morphologischer Ähnlichkeit clusteriert und das Modell wird mit einem Gruppen‑Gradienten aktualisiert. Diese statische Gruppierung reduziert die inter‑Robot‑Konflikte erheblich und übertrifft bestehende Konflikt‑Lösungs‑Methoden.

Die Arbeit liefert damit einen klaren, praxisnahen Ansatz, um robuste, plattformübergreifende Robotik‑Policies zu entwickeln, und legt den Grundstein für zukünftige Fortschritte im Bereich der Offline‑RL‑gestützten Robotik.