Online‑Diffusions‑Policy‑Algorithmen: Neue Übersicht für skalierbare Robotik

In der Robotik hat sich die Diffusions‑Policy als besonders ausdrucksstark erwiesen, weil sie multimodale Aktionsverteilungen besser modellieren kann als klassische Policy‑Netze. Trotz dieser Vorteile bleibt die Kombination mit Online‑Reinforcement‑Learning schwierig, weil die Trainingsziele von Diffusionsmodellen nicht mit den üblichen Policy‑Verbesserungsmechanismen von RL übereinstimmen.

Die vorliegende Arbeit liefert die erste umfassende Übersicht und empirische Analyse von Online‑Diffusion‑Policy‑RL‑Algorithmen (Online DPRL) für skalierbare Robotiksysteme. Dabei wird ein neues Taxonomie‑System vorgestellt, das die bestehenden Ansätze in vier Familien einteilt: Action‑Gradient, Q‑Weighting, Proximity‑Based und Backpropagation‑Through‑Time (BPTT). Jede Familie nutzt einen anderen Mechanismus zur Policy‑Verbesserung.

Um die Stärken und Schwächen der Algorithmen zu vergleichen, wurden umfangreiche Experimente auf dem NVIDIA Isaac Lab‑Benchmark durchgeführt, der 12 unterschiedliche Robotikaufgaben umfasst. Die Bewertung erfolgte entlang von fünf entscheidenden Dimensionen: Aufgabenvielfalt, Parallelisierungspotenzial, Skalierbarkeit der Diffusionsschritte, Generalisierung über verschiedene Körperformen hinweg und Robustheit gegenüber Umgebungsvariationen.

Die Analyse zeigt klare Kompromisse zwischen Stichproben­effizienz und Skalierbarkeit auf und hebt kritische Rechen- und Algorithmusengrenzen hervor, die die praktische Nutzung von Online DPRL derzeit einschränken. Basierend auf diesen Erkenntnissen gibt die Arbeit konkrete Richtlinien für die Auswahl und Weiterentwicklung von Algorithmen, um die Leistungsfähigkeit von Diffusions‑Policies in realen Robotik‑Anwendungen zu maximieren.