RoboAlign: KI-gestützte Lernmethode steigert Robotik-Performance um bis zu 106 %

Die Fähigkeit, multimodale Informationen in konkrete Handlungen umzusetzen, ist entscheidend für die nächste Generation von Vision‑Language‑Action‑Modellen (VLAs). In den letzten Jahren wurden große multimodale Sprachmodelle (MLLMs) mit Vision‑Frage‑Antwort‑Supervision trainiert, doch die daraus resultierenden VLA‑Leistungen blieben oft instabil und erzielten nur geringe Verbesserungen.

Mit RoboAlign wird ein systematischer Trainingsrahmen vorgestellt, der die Verbindung zwischen Sprache und niedrigen Aktionsschritten zuverlässig stärkt. Der Ansatz nutzt zunächst eine Zero‑Shot‑Natural‑Language‑Reasoning‑Methode, um Aktions‑Tokens zu generieren, und verfeinert diese anschließend mit Reinforcement Learning (RL). Dadurch wird die Genauigkeit der Aktionen erhöht und die Modalitätslücke zwischen Text und Bewegung geschlossen.

Zur Validierung wird ein diffusion‑basierter Aktionskopf auf einer MLLM‑Backbone aufgebaut und die Modelle auf den führenden Robotik‑Benchmarks LIBERO, CALVIN sowie in realen Umgebungen getestet. Bereits nach einer RL‑Ausrichtung mit weniger als 1 % der Daten erzielt RoboAlign beeindruckende Verbesserungen von 17,5 %, 18,9 % und 106,6 % gegenüber herkömmlichen SFT‑Baselines.

RoboAlign demonstriert, dass gezielte RL‑Alignment‑Schritte die Leistung von Vision‑Language‑Action‑Modellen signifikant steigern können. Diese Fortschritte ebnen den Weg für robustere, effizientere Robotik‑Anwendungen, die multimodale Erkenntnisse direkt in präzise Handlungen umsetzen.