LinkedIn setzt CADET ein: Transformer ohne Decoder für präzise CTR‑Vorhersagen

LinkedIn hat ein neues Modell namens CADET (Context‑Conditioned Ads Decoder‑Only Transformer) vorgestellt, das die Vorhersage der Klickrate (CTR) in Online‑Werbung revolutioniert. CADET nutzt einen ausschließlich Decoder‑basierten Transformer, um die komplexen Wechselwirkungen zwischen Anzeigen und Nutzern effizienter zu erfassen als herkömmliche Deep‑Learning‑Recommendation‑Modelle (DLRMs).

Das Modell adressiert mehrere bisher ungelöste Probleme in der Werbebranche: Es integriert post‑Scoring‑Signale wie die Anzeigenposition direkt in die Vorhersage, wodurch das klassische „Chicken‑and‑Egg“-Dilemma zwischen geschätzter CTR und Ranking gelöst wird. Durch einen selbst‑gesteuerten Aufmerksamkeitsmechanismus wird die Trainingsstabilität verbessert, indem der Informationsfluss auf Repräsentations‑ und Interaktionsebene dynamisch reguliert wird.

Ein weiteres Highlight ist die zeitbasierte Variante des Rotary Position Embedding (RoPE), die zeitliche Zusammenhänge von Sekunden bis Monaten erfasst. Zusätzlich verhindert ein Session‑Masking‑Ansatz, dass das Modell von nicht verfügbaren In‑Session‑Ereignissen lernt, was die Konsistenz zwischen Training und Produktion stärkt. Für den industriellen Einsatz wurden zudem Engineering‑Optimierungen wie Tensor‑Packing, Sequenz‑Chunking und maßgeschneiderte Flash‑Attention‑Kernels implementiert, die eine schnelle und skalierbare Ausführung ermöglichen.

Mit CADET demonstriert LinkedIn, dass Transformer‑Architekturen, die ursprünglich für generative Empfehlungssysteme entwickelt wurden, erfolgreich auf die anspruchsvollen Anforderungen der Werbebranche übertragen werden können. Das Modell liefert nicht nur höhere Genauigkeit, sondern sorgt auch für eine nahtlose Integration in bestehende Produktionspipelines.