V-STAR: Wertgesteuerte Stichprobe und Optimierung für generative Empfehlungen

Autoregressive Modelle haben die Suche und das Ranking in einem einzigen generativen Rahmen vereint. Beim Feintuning dieser Modelle mit Reinforcement Learning (RL) treten jedoch gravierende Probleme auf: Die übliche Likelihood‑basierte Decodierung führt zu einer starken Vorliebe für lokal wahrscheinliche Präfixe, wodurch wertvolle, aber seltene Optionen zu früh verworfen werden.

Diese „myopische“ Tendenz verursacht zwei zentrale Fehler: Erstens reicht die Exploration nicht aus, weil hochbelohnende Elemente in unwahrscheinlichen Zweigen zu früh abgeschnitten werden. Zweitens wird die Belohnungskompression verstärkt, weil Pfade, die denselben häufigen Präfix teilen, stark korrelierte Rückmeldungen erhalten, was das Lernsignal schwächt.

V-STAR (Value‑Guided Sampling and Tree‑structured Advantage Reinforcement) löst diese Probleme mit einem zweistufigen Ansatz. Der erste Teil, Value‑Guided Efficient Decoding (VED), identifiziert entscheidende Knoten und vertieft gezielt vielversprechende Präfixe, wodurch die Exploration effizienter wird, ohne einen vollständigen Baumsuchlauf zu benötigen. Der zweite Teil, Sibling‑GRPO, nutzt die Baumstruktur, um benachbarte Pfade relativ zu bewerten und konzentriert das Lernsignal auf die entscheidenden Verzweigungsentscheidungen.

Umfangreiche Tests auf Offline‑ und Online‑Datensätzen zeigen, dass V-STAR die führenden Baselines übertrifft. Es liefert nicht nur höhere Genauigkeit, sondern auch eine größere Vielfalt im Kandidatensatz, und das alles unter strengen Latenzbeschränkungen. Diese Ergebnisse markieren einen bedeutenden Fortschritt für generative Empfehlungssysteme, die sowohl Leistung als auch Effizienz in Echtzeit erfordern.