Vorhersagen bei schwacher Labels: Forschung deckt Verteilungsverschiebungen

In der Datenanalyse ist es üblich, auf schwache oder Proxy‑Labels zurückzugreifen, wenn echte Ground‑Truth‑Daten fehlen. Doch wie robust bleiben solche Modelle, wenn sich die zugrunde liegende Verteilung ändert – und das sogar die Art der Labels selbst beeinflusst? Diese Frage stellen die Autoren in ihrer neuen Studie, die das Phänomen als „Supervision Drift“ definiert: Änderungen in der bedingten Wahrscheinlichkeit P(y | x, c) über verschiedene Kontexte hinweg.

Um den Effekt zu untersuchen, nutzen die Forscher CRISPR‑Cas13d‑Experimente, bei denen die Wirksamkeit von Guide‑RNAs indirekt aus RNA‑Seq‑Antworten abgeleitet wird. Mit Daten aus zwei menschlichen Zelllinien und mehreren Zeitpunkten konstruieren sie ein kontrolliertes, nicht‑IID‑Benchmark‑Set, das explizite Domänen‑ und Zeitverschiebungen enthält, während die schwache Label‑Konstruktion konstant bleibt.

Die Modelle erzielen beeindruckende Ergebnisse innerhalb des Trainingsdomänen (Ridge‑Regression: R² = 0.356, Spearman‑Rho = 0.442) und zeigen teilweise Übertragbarkeit auf die andere Zelllinie (Rho ≈ 0.40). Doch bei der zeitlichen Übertragung scheitern alle Modelle – negative R²‑Werte und nahezu null Korrelation (z. B. XGBoost: R² = –0.155, Rho = 0.056). Zusätzliche Analysen bestätigen dieses Muster.

Die Untersuchung legt nahe, dass die Beziehung zwischen Merkmalen und Labels über die Zelllinien hinweg stabil bleibt, sich jedoch über die Zeit stark verändert. Das bedeutet, dass die Misserfolge auf Supervision Drift zurückzuführen sind und nicht auf die Modelle selbst. Die Autoren betonen, dass die Stabilität der Feature‑Label‑Beziehungen ein einfaches, aber effektives Diagnoseinstrument sein kann, um Nicht‑Transferabilität bereits vor dem Einsatz zu erkennen.