XR-DT: Digitaler Zwilling mit Extended Reality für autonome mobile Roboter

In einer Zeit, in der mobile Roboter immer häufiger mit Menschen in gemeinsamen Arbeitsbereichen zusammenarbeiten, stellt die sichere und verständliche Interaktion zwischen Mensch und Maschine eine zentrale Herausforderung dar. Das neue XR‑DT‑Framework – ein eXtended Reality‑unterstützter Digitaler Zwilling – verbindet physische und virtuelle Welten, um eine bidirektionale Verständigung zu ermöglichen.

Die Architektur von XR‑DT integriert virtuelle, augmentierte und gemischte Realität. Echtzeit‑Sensordaten werden mit simulierten Umgebungen im Unity‑Game‑Engine‑Modell kombiniert, während menschliches Feedback über tragbare AR‑Geräte erfasst wird. Auf dieser Basis entwickelt das System einen agentischen mobilen Roboter mit einer einheitlichen Diffusions­politik, die Aufgaben kontextabhängig anpasst.

Ein innovativer „Chain‑of‑Thought“-Ansatz erlaubt multimodalen großen Sprachmodellen, menschliche Anweisungen und Umgebungs­kontext zu verarbeiten. Ergänzt wird dies durch eine AutoGen‑basierte Multi‑Agenten‑Koordination, die die Robustheit und Zusammenarbeit in dynamischen Szenarien erhöht.

Erste Experimente zeigen, dass XR‑DT präzise Trajektorien von Mensch und Roboter vorhersagen kann – ein entscheidender Schritt zur Validierung von HRI‑Aufgaben. Durch die Einbettung von menschlicher Intention, Umgebungs­dynamik und Robotik‑Kognition liefert das Framework eine solide Basis für sichere, effiziente und nachvollziehbare Mensch‑Roboter‑Interaktionen.