Adaptive Replay Buffer verbessert Offline‑zu‑Online Reinforcement Learning

In der Offline‑zu‑Online‑Reinforcement‑Learning‑Forschung (O2O RL) besteht die Herausforderung, ein festes Offline‑Datenset mit neu gesammelten Online‑Erfahrungen auszubalancieren. Traditionelle Ansätze setzen häufig auf ein festes Mischverhältnis, was die Balance zwischen anfänglicher Stabilität und langfristiger Leistung erschwert.

Die neue Methode, der Adaptive Replay Buffer (ARB), löst dieses Problem, indem sie die Datenabfrage dynamisch priorisiert. Dabei wird ein leichtgewichtiges Maß namens „on‑policyness“ verwendet, das misst, wie eng eine gesammelte Trajektorie mit dem aktuellen Policy‑Verhalten übereinstimmt. Auf Basis dieses Maßes erhält jede Transition ein proportionales Sampling‑Gewicht.

ARB ist lernfrei und lässt sich nahtlos in bestehende O2O‑RL‑Algorithmen integrieren. Es nutzt zunächst Offline‑Daten, um die frühe Lernphase stabil zu halten, und verschiebt den Fokus anschließend auf die vielversprechendsten Online‑Erfahrungen. Umfangreiche Tests auf D4RL‑Benchmarks zeigen, dass ARB die anfängliche Leistungsabnahme reduziert und die Endleistung verschiedener O2O‑RL‑Algorithmen deutlich steigert.

Die Ergebnisse unterstreichen die Bedeutung eines adaptiven, verhaltensbewussten Replay‑Buffers für die Weiterentwicklung von Offline‑zu‑Online‑Reinforcement‑Learning‑Systemen.