Statistisch signifikante Fairness-Verletzungen bei Rückfallvorhersagen entdeckt

Maschinelles Lernen wird immer häufiger in Bereichen wie Finanzen, Gesundheit und Strafjustiz eingesetzt. Mit der wachsenden Verbreitung algorithmischer Entscheidungen wächst auch das Interesse an algorithmischer Fairness. Forscher haben zahlreiche Definitionen entwickelt, die Diskrepanzen zwischen privilegierten und geschützten Gruppen messen, und nutzen kausale Inferenz, um den Einfluss von Rasse auf Modellvorhersagen zu untersuchen. Bisher fehlte jedoch ein Verfahren, um festzustellen, ob beobachtete Ungleichheiten statistisch signifikant sind oder lediglich dem Zufall zu entfallen scheinen.

In der vorliegenden Arbeit wird ein rigoroses Rahmenwerk vorgestellt, das die statistische Signifikanz von Fairness-Verletzungen prüft. Durch die Anwendung von k-facher Kreuzvalidierung werden Stichprobenverteilungen von Fairness-Metriken erzeugt, die anschließend als Grundlage für statistische Tests dienen. Diese Tests ermöglichen es, signifikante Verstöße gegen Fairness-Kriterien zu identifizieren, indem sie Diskrepanzen zwischen vorhergesagten und tatsächlichen Ergebnissen, die Kalibrierung von Wahrscheinlichkeiten und kausale Inferenzmethoden berücksichtigen.

Die Autoren demonstrieren die Methode anhand von Rückfallvorhersagen, die mit Daten des National Institute of Justice trainiert wurden. Die Ergebnisse zeigen, dass die eingesetzten Algorithmen signifikante Voreingenommenheit gegenüber schwarzen Personen aufweisen, wenn mehrere Fairness-Definitionen herangezogen werden. Unter anderen Definitionen hingegen wird keine Voreingenommenheit festgestellt oder sogar eine Voreingenommenheit gegenüber weißen Personen beobachtet. Diese Erkenntnisse unterstreichen die Notwendigkeit, Fairness nicht nur zu messen, sondern auch statistisch zu validieren, bevor solche Modelle in der Praxis eingesetzt werden.