LUMOS: Transformer-Modell revolutioniert Vorhersage von Nutzerverhalten

LUMOS (Large User MOdel Series) ist ein neuartiges Transformer‑Modell, das die herkömmliche Abhängigkeit von aufgaben‑spezifischen Modellen und aufwändiger Feature‑Engineering eliminiert. Stattdessen lernt es mehrere Aufgaben gleichzeitig aus rohen Nutzerdaten und nutzt dabei ein innovatives Cross‑Attention‑Mechanismus, der zukünftige Ereignisse wie Feiertage oder Verkaufsaktionen in die Vorhersage einbezieht.

Durch die Kombination von Transaktionsdaten, Ereigniskontext und statischen demografischen Merkmalen in einer mehrmodalen Tokenisierung erzeugt LUMOS reichhaltige Repräsentationen, die über spezialisierte Einbettungspfade verarbeitet werden. In umfangreichen Tests mit 275 Milliarden Aktivitätstoken von 250 Millionen Nutzern übertraf das Modell traditionelle, aufgaben‑spezifische Ansätze. Bei fünf Benchmark‑Aufgaben erzielte LUMOS durchschnittlich 0,025 mehr ROC‑AUC bei binären Klassifikationen und senkte die MAPE bei Regressionsaufgaben um 4,6 %.

Ein Online‑A/B‑Test bestätigte die praktische Wirkung: Durch den Einsatz von LUMOS stieg die Zahl der täglich aktiven Nutzer um 3,15 %. Diese Ergebnisse zeigen, dass LUMOS nicht nur die Genauigkeit von Vorhersagen verbessert, sondern auch greifbare Geschäftsvorteile liefert.