Ansatz: Delightful Distributed Policy Gradient verbessert RL bei fehlerhaften Daten

In verteilten Verstärkungslern‑Systemen entstehen häufig Daten von veralteten, fehlerhaften oder nicht übereinstimmenden Akteuren. Diese Daten führen zu Aktionen mit hoher Überraschung (hohe negative Log‑Wahrscheinlichkeit) und erzeugen ein Problem, das als „negative Lernwirkung aus überraschenden Daten“ bezeichnet wird. Solche Überraschungen können die Lernrichtung dominieren, obwohl sie wenig nützliche Information tragen, während seltene Erfolge, die die aktuelle Politik sonst verpasst hätte, übersehen werden.

Der neue Ansatz „Delightful Policy Gradient“ (DG) löst dieses Dilemma, indem er jede Aktualisierung mit dem Produkt aus Vorteil und Überraschung – dem sogenannten „Delight“ – gewichtet. Durch diese Gating‑Methode werden seltene Fehler unterdrückt und seltene Erfolge verstärkt, ohne die Verhaltenswahrscheinlichkeiten zu verändern. Bei kontaminierten Stichproben zerfällt die Kosinus‑Ähnlichkeit zwischen dem klassischen Policy‑Gradient und dem wahren Gradienten, während die DG‑Ähnlichkeit mit der Verbesserung der Politik wächst. Kein sign‑blindes Re‑Weighting, auch nicht die exakte Importance‑Sampling‑Korrektur, kann diesen Effekt reproduzieren.

Experimentell zeigte DG auf MNIST mit simuliertem Staleness‑Effekt, dass es ohne Off‑Policy‑Korrektur die Leistung von Importance‑Weighted PG mit exakten Verhaltenswahrscheinlichkeiten übertrifft. Auf einer Transformer‑Sequenzaufgabe, die Staleness, Akteursfehler, Belohnungs‑Korruption und seltene Entdeckungen kombinierte, erreichte DG etwa zehnmal geringere Fehler. Wenn alle vier Störungen gleichzeitig auftreten, übertrifft DG die Rechenleistung um ein Vielfaches, und dieser Vorteil wächst mit zunehmender Aufgabenkomplexität.

Der Delightful Policy Gradient bietet damit einen robusten, effizienten Weg, verteilte Lernsysteme gegen die typischen Störungen von veralteten und fehlerhaften Akteuren zu schützen und gleichzeitig seltene, wertvolle Lerngelegenheiten zu nutzen. Diese Entwicklung markiert einen bedeutenden Fortschritt für die Praxis des verteilten Verstärkungslernens.