SimWorld-Robotics: Photorealistische Stadtsimulation für multimodale Robotik

SimWorld‑Robotics (SWR) ist eine neue Simulationsplattform, die auf Unreal Engine 5 basiert und unendlich viele photorealistische Stadtlandschaften erzeugt. Durch prozedurale Generierung entstehen komplexe urbane Umgebungen, die sich in Größe, Detailreichtum und Skalierbarkeit von bisherigen Simulationen deutlich abheben.

Ein besonderes Merkmal von SWR ist die Integration dynamischer Elemente wie Fußgänger, Fahrzeuge und ein realistisches Verkehrssystem. Gleichzeitig unterstützt die Plattform die gleichzeitige Steuerung mehrerer Roboter und deren Kommunikation, was die Entwicklung von kooperativen Robotiksystemen in realitätsnahen Szenarien erleichtert.

Auf dieser Basis wurden zwei anspruchsvolle Benchmarks entwickelt: Erstens ein multimodales Befolgen von Navigationsanweisungen, bei dem ein Robot auf visuelle und sprachliche Signale reagieren muss, um ein Ziel unter Beachtung von Menschen und Verkehr zu erreichen. Zweitens ein Multi‑Agent‑Suchaufgabe, bei der zwei Roboter miteinander kommunizieren, um sich zu finden und zusammenzuarbeiten. Diese Aufgaben prüfen multimodale Anweisungsgrundlage, räumliches 3‑D‑Verständnis, sichere Langstreckennavigation sowie die Fähigkeit zur kooperativen Kommunikation.

Die ersten Experimente zeigen, dass aktuelle führende Modelle, darunter Vision‑Language‑Modelle, bei diesen Aufgaben noch erhebliche Schwächen aufweisen. Damit verdeutlicht SWR die Notwendigkeit, Robotiksysteme für komplexe, offene urbane Umgebungen weiter zu verbessern und bietet eine robuste Testumgebung für zukünftige Fortschritte.