AcceRL: Asynchrones RL-Framework mit Weltmodell für Vision‑Language‑Action‑Modelle

Das neue Open‑Source-Projekt AcceRL löst ein zentrales Problem im Bereich des Reinforcement Learning (RL) für große Vision‑Language‑Action‑Modelle: die ineffiziente Synchronisation zwischen Training, Inferenz und Rollouts. Durch die physische Trennung dieser Prozesse wird die gesamte Pipeline asynchronisiert, wodurch Engpässe vermieden und die Rechenleistung optimal genutzt werden.

Ein besonderes Highlight von AcceRL ist die Integration eines plug‑and‑play, trainierbaren Weltmodells. Dieses Modell erzeugt virtuelle Erfahrungen, die das Lernsystem mit zusätzlichen Daten versorgen, ohne dass reale Rollouts erforderlich sind. Dadurch steigt die Sample‑Effizienz dramatisch, und die Trainingsstabilität in komplexen Steuerungsaufgaben verbessert sich deutlich.

Tests auf dem LIBERO‑Benchmark zeigen, dass AcceRL nicht nur den aktuellen Stand der Technik übertrifft, sondern auch eine super‑lineare Skalierung in der Durchsatzrate erreicht. Gleichzeitig nutzt das System die Hardware äußerst effizient, was sowohl die Kosten als auch die Umweltbelastung reduziert.

AcceRL stellt damit einen bedeutenden Fortschritt für die Entwicklung leistungsfähiger Vision‑Language‑Action‑Modelle dar und eröffnet neue Möglichkeiten für Forschung und Anwendungen, die auf schnelle, stabile und ressourcenschonende Lernalgorithmen angewiesen sind.