Staggered Resets verbessern Parallel‑RL‑Umgebungen drastisch

In der neuesten Veröffentlichung auf arXiv zeigt ein Forschungsteam, wie ein simples Reset-Verfahren die Effizienz von massiv parallelen Reinforcement‑Learning‑Umgebungen dramatisch steigern kann.

Massiv parallele GPU‑Umgebungen ermöglichen schnelle Datensammlung für on‑policy Algorithmen wie Proximal Policy Optimization (PPO). Um die Durchsatzrate zu maximieren, werden häufig sehr kurze Rollouts pro Policy‑Update verwendet, was die Update‑to‑Data‑Rate erhöht.

Allerdings führen synchronisierte Resets zu einer starken Nicht‑Stationarität, die das Lernsignal verzerrt und die Stabilität des Trainings beeinträchtigt.

Die Autoren stellen „staggered resets“ vor – ein Verfahren, bei dem Umgebungen zu unterschiedlichen Zeitpunkten innerhalb des Aufgabenhorizonts initialisiert und zurückgesetzt werden. Dadurch entstehen Trainingsbatches mit größerer zeitlicher Vielfalt, die die durch synchronisierte Rollouts verursachte Nicht‑Stationarität reduzieren.

Zunächst werden toy‑Umgebungen genutzt, um die Dimensionen zu identifizieren, in denen das Verfahren besonders vorteilhaft ist. Anschließend wird es auf anspruchsvolle, hochdimensionale Robotik‑Umgebungen angewendet, wo es die Sample‑Effizienz, die Zeit bis zur Konvergenz und die Endleistung deutlich verbessert.

Ein weiterer Vorteil ist die bessere Skalierbarkeit: Mit steigender Anzahl paralleler Umgebungen bleibt die Leistung der staggered resets im Vergleich zu naiven synchronisierten Resets konstant hoch.

Die Arbeit demonstriert, dass ein einfaches Reset‑Schema die Leistungsfähigkeit von Parallel‑RL erheblich steigern kann und damit neue Möglichkeiten für die Entwicklung schnellerer, effizienterer Lernalgorithmen eröffnet.