Optimistisches DRO löst Kollaps bei Offline-Generativen Empfehlungen

In der Welt der generativen Empfehlungen hat sich das policy‑basierte Reinforcement Learning (RL) als führendes Verfahren etabliert, um Nutzerinteraktionen in Sequenzen zu optimieren. Doch sobald diese Methoden auf historische Offline‑Logs angewendet werden, tritt ein gravierendes Problem auf: Daten von niedriger Qualität führen zu einem massiven Modell‑Kollaps.

Forscher haben die „Divergence Theory of Repulsive Optimization“ entwickelt, die zeigt, dass negative Gradientenupdates während des Off‑Policy‑Trainings zu einer exponentiellen Intensitätsexplosion führen. Diese Theorie erklärt, warum bestehende Ansätze weder Varianzreduktion noch Rausch‑Imitation gleichzeitig bewältigen können.

Die Lösung liegt laut den Autoren darin, die latente, hochwertige Verteilung innerhalb der verrauschten Verhalten‑Policy exakt zu identifizieren. Daraus entsteht ein optimistisches Distributionally Robust Optimization (DRO) Problem, das als Grundlage für die neue Methode Distributionally Robust Policy Optimization (DRPO) dient.

Wichtig ist, dass die Autoren beweisen, dass harte Filterung die exakte Lösung dieses DRO‑Ziels ist. DRPO kann damit hochwertige Verhaltensmuster optimal zurückgewinnen und gleichzeitig divergenzverursachendes Rauschen strikt ausschließen.

Umfangreiche Experimente belegen, dass DRPO auf Benchmarks mit gemischter Datenqualität den aktuellen Stand der Technik übertrifft. Damit eröffnet die Methode einen vielversprechenden Weg, die Zuverlässigkeit von Offline‑RL‑Systemen in der Empfehlungstechnik nachhaltig zu verbessern.