EO-1: Interleaved Vision-Text-Action Training für Allzweck-Robotersteuerung

Ein neues Forschungsprojekt namens EO‑Robotics präsentiert den EO‑1‑Modell und das dazugehörige EO‑Data1.5M‑Datenset. EO‑1 ist ein einheitliches, eingebettetes Grundmodell, das multimodale Logik und die Steuerung von Robotern durch ein interleaved Vision‑Text‑Action‑Pretraining verbessert.

Die Architektur von EO‑1 verarbeitet Bild-, Text-, Video‑ und Aktionsdaten ohne Unterscheidung, wodurch ein konsistenter Fluss aller Modalitäten entsteht. Das Datenset umfasst über 1,5 Millionen hochqualitative Samples, die gezielt die gleichzeitige Verarbeitung von Vision, Text und Aktion fordern. Für das Training kombiniert EO‑1 autoregressive Decodierung mit Flow‑Matching‑Denoising, was eine nahtlose Generierung von Roboteraktionen und ein tiefes multimodales Verständnis ermöglicht.

Umfangreiche Experimente zeigen, dass das interleaved Training die Leistung bei offenen, langfristigen Manipulationsaufgaben deutlich steigert. EO‑1 demonstriert über mehrere Robotermodelle hinweg eine verbesserte Generalisierung und Flexibilität, die dem menschlichen Niveau in der kombinierten Logik und Interaktion näherkommt. Das Ergebnis unterstreicht die Bedeutung von großen, multimodalen Datensätzen und einheitlichen Architekturen für die Weiterentwicklung von Allzweck‑Robotersteuerungen.