Online-Anpassung von RL mit Echo State Networks bei nicht-stationären Dynamiken

Reinforcement‑Learning‑Agenten, die in simulierten Umgebungen trainiert werden, zeigen häufig erhebliche Leistungsabfälle, sobald sie in der realen Welt eingesetzt werden. Der Grund liegt in nicht‑stationären Dynamiken, die in Simulationen nicht vollständig erfasst werden. Traditionelle Ansätze wie Domain Randomization oder Meta‑RL erfordern dagegen umfangreiches Pre‑Training, privilegierte Informationen oder hohe Rechenkosten, was ihre Nutzung in Echtzeit‑ oder Edge‑Systemen einschränkt.

In der vorliegenden Arbeit wird ein schlanker, online‑adaptiver Rahmen vorgestellt, der auf Reservoir Computing basiert. Ein Echo State Network (ESN) fungiert als Adaptationsmodul, das kürzliche Beobachtungs­historien in eine latente Kontext­darstellung überführt. Die Ausgabelinien des ESN werden anschließend online mit Recursive Least Squares (RLS) aktualisiert. Dadurch entfällt Back‑Propagation, umfangreiches Pre‑Training und der Zugriff auf privilegierte Daten.

Die Methode wurde an den Aufgaben CartPole und HalfCheetah getestet, wobei extreme und abrupte Umgebungsänderungen – etwa periodische Störungen oder drastische Reibungs­variationen – simuliert wurden. Die Ergebnisse zeigen, dass das ESN‑basierte System die Leistung von Domain Randomization und anderen adaptiven Baselines deutlich übertrifft. Die Anpassung erfolgt innerhalb weniger Steuer­schritte, und das System kann Änderungen innerhalb einer Episode ohne Rücksetzen der Policy bewältigen.

Dank seiner geringen Rechen­belastung und Stabilität bietet der vorgestellte Ansatz eine praktikable Lösung für die Echtzeit‑Anpassung von Reinforcement‑Learning‑Agenten in nicht‑stationären Umgebungen.