Deterministische Auktionen: Stochastische Modelle für Off‑Policy Evaluation
Online‑A/B‑Tests gelten als Goldstandard für die Bewertung neuer Werbestrategien, verbrauchen jedoch enorme Ressourcen und bergen das Risiko erheblicher Umsatzverluste, wenn eine Variante schlecht abschneidet. Deshalb gewinnt die Off‑Policy Evaluation (OPE) immer mehr an Bedeutung – doch in der Welt der Werbeauktionen ist sie besonders schwierig, weil meist das höchste Gebot den Zuschlag erhält und damit ein deterministisches, „Winner‑Takes‑All“-Umfeld entsteht. In diesem Setting haben nicht gewinnende Anzeigen keine Chance, gesehen zu werden, was herkömmliche OPE‑Estimatoren unbrauchbar macht.
Die neue Studie präsentiert ein völlig neues, principielles Verfahren, das dieses Problem löst. Durch die Umwandlung des Gebotslandschaft-Modells in einen Schätzer für die Propensity‑Score wird die fehlende Exposition von Nicht‑Gewinnern kompensiert. Damit können stabile OPE‑Methoden wie Self‑Normalized Inverse Propensity Scoring (SNIPS) zuverlässig eingesetzt werden, um die Wirkung neuer Werbestrategien im Offline‑Modus zu simulieren.
Die Wirksamkeit des Ansatzes wurde sowohl auf dem AuctionNet‑Simulationsbenchmark als auch an einem realen, zweiwöchigen A/B‑Test eines großen Industrie‑Plattform durchgeführt. Das Ergebnis ist beeindruckend: Die Vorhersagen des Modells erreichen eine Mean Directional Accuracy (MDA) von 92 % bei der Klickrate, was deutlich über dem parametrischen Baseline liegt. MDA ist die entscheidende Kennzahl, die angibt, ob ein neues Modell die Leistung verbessern oder verschlechtern wird – ein kritischer Faktor für die schnelle und sichere Einführung neuer Algorithmen.
Diese Arbeit liefert damit ein robustes Werkzeug für die Offline‑Bewertung von Werbeauktionen, reduziert die Abhängigkeit von teuren Live‑Tests und beschleunigt die Entscheidungsfindung in der Werbebranche. Durch die Kombination von stochastischer Modellierung und fortschrittlicher OPE‑Technik eröffnet sie neue Möglichkeiten für effizientere und risikoärmere Kampagnenoptimierung.