OSPO: Neuer RL-Algorithmus verbessert generative LLMs bei personalisierten Empfehlungen

Large Language Models (LLMs) werden zunehmend mit Reinforcement Learning (RL) für personalisierte Empfehlungssysteme trainiert. Traditionelle Ansätze wie GRPO nutzen jedoch spärliche, sequentielle Belohnungen, die zu einem Credit-Assignment-Problem führen: Es bleibt unklar, welche Tokens den Erfolg tatsächlich ausmachen. Dieses Problem verschärft sich, wenn Modelle aus unklaren Nutzeranfragen die zugrunde liegende Intention ableiten müssen – ein Szenario, das während des Pretrainings kaum vorkommt.

Die neue Methode, Owen-Shapley Policy Optimization (OSPO), löst dieses Problem, indem sie die sequentielle Belohnung auf Token-Ebene verteilt. Anstatt zusätzliche Wertmodelle zu trainieren, nutzt OSPO potenzialbasierte Reward-Shaping über Shapley-Owen-Attributionen, um Segmenten von Texten die passende Verantwortung zuzuweisen. Dadurch bleibt die optimale Policy erhalten und das Modell lernt direkt aus dem Feedback der Aufgabe.

OSPO bildet dabei Kohorten aus semantisch zusammenhängenden Einheiten – etwa Phrasen, die Produktmerkmale beschreiben, oder Sätze, die Präferenzen ausdrücken. Durch diese Gruppierung erkennt das System, welche Antwortteile den größten Einfluss auf die Leistung haben. Experimente auf den Amazon ESCI- und H&M Fashion-Datensätzen zeigen konsistente Verbesserungen gegenüber Standardmethoden und eine bemerkenswerte Robustheit gegenüber Out-of-Distribution-Retrievern, die während des Trainings nicht gesehen wurden.