Snapchat entwickelt groß angelegtes Framework zur Schätzung heterogener Behandlungseffekte

Snapchat hat ein neues, industrielles System vorgestellt, das die Wirkung von Experimenten auf Millionen von Nutzern präzise schätzt. Im Gegensatz zu klassischen Modellen, die davon ausgehen, dass alle Nutzer gleich reagieren, berücksichtigt das neue Framework individuelle Unterschiede und liefert damit heterogene Behandlungseffekte (HTE) und bedingte durchschnittliche Behandlungseffekte (CATE).

Durch die Kombination von Daten aus zahlreichen A/B‑Tests erkennt das System bislang unmessbare Nutzermerkmale und erzeugt stabile Schätzungen in großem Umfang. Zu den Kernkomponenten gehören die Auswahl geeigneter Experimente, die Gestaltung des Basislernmodells und ein schrittweises Trainingsverfahren, das kontinuierlich neue Erkenntnisse integriert.

Zwei konkrete Anwendungsfälle wurden bereits erfolgreich umgesetzt: die Messung der Einflussbarkeit von Nutzern auf Werbeanzeigen und die Sensitivität gegenüber Werbung. Ein Online‑A/B‑Test, bei dem Nutzer anhand ihrer Einflussbarkeitswerte gezielt angesprochen wurden, erzielte eine Verbesserung der wichtigsten Geschäftskennzahlen, die mehr als sechsmal so groß war wie bei üblichen Signifikanzgrenzen.