Auditieren Fairness bei Modellupdates: Komplexität & Eigenschaftsbeibehaltung

Mit der zunehmenden Verbreitung von maschinellen Lernmodellen in gesellschaftlichen Infrastrukturen wird das Prüfen auf Bias immer wichtiger. Doch in der Praxis stellen sich neue Herausforderungen, wenn Modellbesitzer ihre Systeme an veränderte Umgebungen anpassen.

Solche Updates können die zugrunde liegende Modellklasse verändern, während gleichzeitig bestimmte Eigenschaften – etwa Fairness – erhalten bleiben. Das wirft die Frage auf, welche Aspekte eines Modells zuverlässig auditiert werden können, wenn sich die zugrundeliegende Klasse dynamisch wandelt.

In der vorliegenden Arbeit wird die Auditing‑Fairness für Gruppen unter beliebigen Updates untersucht. Dabei werden allgemeine Verschiebungen betrachtet, die die vor dem Audit vorhandene Modellklasse modifizieren, aber die zu prüfende Eigenschaft unverändert lassen.

Zwei Hauptziele stehen im Fokus: Erstens soll die Informationskomplexität zulässiger Updates charakterisiert werden, indem strategische Änderungen identifiziert werden, die die Auditeigenschaft bewahren. Zweitens soll gezeigt werden, wie Auditing‑Eigenschaften – etwa Gruppenfairness – mit möglichst wenigen gelabelten Stichproben effizient geschätzt werden können.

Hierfür wird ein generisches PAC‑Auditing‑Framework vorgestellt, das auf einem Empirical Property Optimization (EPO) Oracle basiert. Für das Konzept der statistischen Parität werden distributionsfreie Auditing‑Grenzen definiert, die durch die SP‑Dimension beschrieben werden – ein neuartiges kombinatorisches Maß, das die Komplexität zulässiger strategischer Updates erfasst.

Darüber hinaus demonstriert die Studie, dass das Framework nahtlos auf weitere Auditing‑Ziele ausgeweitet werden kann, darunter Vorhersagefehler und robuster Risiko. Damit liefert die Arbeit einen theoretisch fundierten Ansatz, um Fairness auch in dynamisch aktualisierten Modellen zuverlässig zu prüfen.