STARec: Agenten-Framework verbessert Empfehler durch selbstständiges Denken

Moderne Empfehlungssysteme stoßen an ihre Grenzen, weil sie Nutzerprofile statisch halten und Entscheidungen nur reaktiv treffen. Auch große Sprachmodelle, die als Agenten eingesetzt werden, bleiben auf heuristische Mustererkennung beschränkt, was zu oberflächlichen Korrelationen, eingeschränkter kausaler Analyse und Schwäche bei wenig Daten führt.

Mit dem neuen Framework STARec wird das Problem angegangen: Jeder Nutzer wird als Agent mit zwei Denkmodi modelliert – ein schneller Reaktionskanal für sofortige Interaktionen und ein langsamer, deliberativer Kanal, der ausführliche „Chain‑of‑Thought“-Erklärungen erstellt. Durch diese langsame Denkweise können Agenten tiefergehende Zusammenhänge erkennen und ihre Empfehlungen verfeinern.

Die Trainingsmethode, genannt „anchored reinforcement training“, kombiniert zwei Phasen: Zuerst wird Wissen aus fortgeschrittenen Modellen distilliert, um Grundfähigkeiten wie Präferenzzusammenfassung und Begründung zu erlernen. Anschließend wird die Belohnungsstruktur so gestaltet, dass die Agenten ihre Politik dynamisch anpassen können, indem sie simulierte Feedbackschleifen durchlaufen. Dieses hybride Vorgehen ermöglicht es den Agenten, mit nur 0,4 % der üblichen Trainingsdaten signifikante Leistungssteigerungen zu erzielen.

Experimentelle Ergebnisse auf den Benchmarks MovieLens 1M und Amazon CDs zeigen, dass STARec die aktuellen Spitzenreiter deutlich übertrifft. Das Framework beweist, dass selbstständiges, langsames Denken in Empfehlungssystemen nicht nur machbar, sondern auch äußerst wirkungsvoll ist.