RL für Mensch‑Roboter‑Kollaboration: Off‑Policy Evaluation ohne Live‑Interaktion

Reinforcement Learning (RL) verspricht, Entscheidungsprozesse in der realen Welt zu revolutionieren, indem autonome Agenten aus Erfahrung lernen. Doch die Umsetzung von RL in der Mensch‑Roboter‑Interaktion ist mit erheblichen Herausforderungen verbunden: Man muss geeignete Zustandsdarstellungen und Belohnungsfunktionen definieren, die entscheidend für die Lernleistung und die Qualität der erlernten Politik sind.

Traditionelle RL‑Ansätze erfordern oft umfangreiche Domänenexpertise und viel Trial‑and‑Error, was zu intensiver menschlicher Beteiligung und direkter Interaktion mit der Umgebung führt. In komplexen, sicherheitskritischen Anwendungen ist diese Vorgehensweise kostenintensiv und praktisch kaum umsetzbar.

Die vorgestellte Arbeit präsentiert ein neues Framework, das Off‑Policy Evaluation (OPE) nutzt, um Zustandsräume und Belohnungsfunktionen ausschließlich anhand geloggter Interaktionsdaten auszuwählen. Dadurch entfällt die Notwendigkeit, in Echtzeit mit der Umgebung zu interagieren oder menschliches Feedback einzuholen, was die Abhängigkeit von teuren Live‑Tests drastisch reduziert.

Der Ansatz trainiert Offline‑RL‑Agenten, wendet OPE an, um die erwartete Leistung verschiedener Kandidaten zu schätzen, und wählt die optimale Kombination aus Zustandsdarstellung und Belohnungsfunktion, die unter OPE‑Metriken die besten Ergebnisse liefert. Die Methode wurde erfolgreich in zwei Umgebungen getestet: dem Lunar Lander von OpenAI Gym als kontrolliertes Testfeld und einer NASA‑MATB‑II‑Studie mit menschlichen Probanden.

Diese Entwicklung eröffnet einen vielversprechenden Weg, RL sicher, effizient und skalierbar in kollaborativen Mensch‑Roboter‑Systemen einzusetzen, ohne die Kosten und Risiken traditioneller Lernmethoden zu erhöhen.