Effizientes Modell-Monitoring mit Stratifiziertem Importance Sampling

Die Überwachung von Klassifikationsmodellen in der Produktion ist entscheidend, stellt aber wegen begrenzter Label-Budgets, einmaliger Batch‑Labelakquise und extrem niedriger Fehlerquoten eine große Herausforderung dar. In einer neuen Arbeit wird ein generisches Framework vorgestellt, das auf Stratifiziertem Importance Sampling (SIS) basiert und diese Einschränkungen direkt adressiert.

Die theoretische Analyse zeigt, dass SIS unter milden Bedingungen unverzerrte Schätzer liefert und die mittlere quadratische Abweichung (MSE) im Vergleich zu herkömmlichem Importance Sampling (IS) und stratifiziertem Zufalls‑Sampling (SRS) deutlich verbessert. Das Verfahren benötigt keine optimal definierten Vorschlagsverteilungen oder Strata; selbst bei verrauschten Proxy‑Daten und suboptimaler Stratifikation kann SIS die Schätzer‑Effizienz gegenüber IS oder SRS steigern, solange die Vorschlagsverteilung nicht zu stark vom Ziel abweicht.

Experimentelle Ergebnisse auf binären und mehrklassigen Aufgaben belegen konsistente Effizienzgewinne bei festem Label‑Budget. Damit demonstriert SIS seine Eignung als principielle, label‑effiziente und operativ leichte Methode für das Monitoring von Modellen nach dem Deployment.

Das vorgestellte Framework bietet somit eine praktikable Lösung für die reale Überwachung von Klassifikationsmodellen, die zuverlässige Leistungsbewertungen mit minimalem Labelaufwand ermöglicht.