Präzise Messung von Regelverstößen: ML-gestützte Stichprobe & LLM-Labeling

Content‑Safety‑Teams brauchen Kennzahlen, die das tatsächliche Nutzererlebnis widerspiegeln – nicht nur die gemeldeten Fälle. In einer neuen Studie wird die Prävalenz ermittelt, also der Anteil der Nutzeransichten, die an einem Tag auf Inhalte geführt haben, die gegen eine bestimmte Richtlinie verstoßen.

Die Messung ist schwierig, weil Regelverstöße selten auftreten und die manuelle Kennzeichnung teuer ist. Häufige, plattformübergreifende Untersuchungen wären daher zu langsam und unpraktisch.

Die Autoren stellen ein designbasiertes Messsystem vor, das täglich probabilistische Stichproben aus dem gesamten Impressionen‑Stream zieht. Mithilfe von ML‑gestützten Gewichtungen konzentriert sich das Label‑Budget gezielt auf Inhalte mit hoher Reichweite und hohem Risiko, während die Unbiasedness erhalten bleibt.

Die ausgewählten Inhalte werden anschließend mit einem multimodalen Large‑Language‑Model (LLM) gekennzeichnet. Das Modell arbeitet unter Einsatz von Richtlinien‑Prompts und einer Gold‑Set‑Validierung, um die Qualität der Labels sicherzustellen.

Das System liefert design‑konsistente Prävalenzschätzungen inklusive Konfidenzintervalle und ermöglicht interaktive Dashboard‑Drilldowns. Ein globaler Stichprobenpool unterstützt gleichzeitig die Analyse nach Oberfläche, Zuschauer‑Geografie, Inhaltsalter und weiteren Segmenten. Zusätzlich werden statistische Schätzer, Varianz‑ und Konfidenzintervallkonstruktionen, Qualitätsmonitoring der Labels sowie ein konfigurierbarer Engineering‑Workflow beschrieben, der die Anwendung über verschiedene Richtlinien hinweg erleichtert.