Neues probabilistisches Modell steigert Langzeitgenauigkeit von Empfehlungssystemen

In der Praxis von Empfehlungssystemen führt die zeitliche Verschiebung der Datenverteilung (Temporal Distribution Shift, TDS) zu einem allmählichen Verlust an Genauigkeit. Trotz dieser Herausforderung setzen Unternehmen weiterhin auf periodische, inkrementelle Trainingszyklen, die Schwierigkeiten haben, sowohl stabile als auch kurzlebige Muster zuverlässig zu erfassen.

Um diese Schwächen zu überwinden, hat ein Forschungsteam ein neues probabilistisches Framework namens ELBO_TDS entwickelt. Das System integriert sich nahtlos in groß angelegte, inkrementelle Lernpipelines und nutzt statistische Analysen echter Produktionsdaten, um die wichtigsten Verschiebungsfaktoren zu identifizieren. Anschließend wird eine einfache, aber wirkungsvolle Datenaugmentation eingesetzt, die diese zeitlich variierenden Faktoren neu sampelt und so den Trainingsbereich erweitert.

Um die Vorteile der erweiterten Verteilung zu nutzen und gleichzeitig ein Kollaps der Repräsentationen zu verhindern, modelliert ELBO_TDS das Empfehlungsszenario mit einem kausalen Graphen. Daraus leitet es ein selbstüberwachtes, variationales Ziel ab, das auf der kausalen Struktur basiert. Umfangreiche Experimente, unterstützt durch theoretische und empirische Analysen, zeigen, dass das Verfahren die zeitliche Generalisierung deutlich verbessert – mit einem Anstieg der GMV pro Nutzer um 2,33 % – und bereits erfolgreich im Shopee Product Search eingesetzt wird.

Der Quellcode ist öffentlich zugänglich unter https://github.com/FuCongResearchSquad/ELBO4TDS.