Neuer Fairness-Regularizer: Cauchy-Schwarz verbessert Gerechtigkeit in ML

In der Welt des maschinellen Lernens wird Gerechtigkeit häufig durch einen Regularizer sichergestellt, der die Abhängigkeit zwischen Modellvorhersagen und sensiblen Merkmalen reduziert. Bisher basieren diese Regularizer jedoch auf heterogenen Distanzmaßen und Designentscheidungen, was ihr Verhalten schwer nachvollziehbar macht und die Leistung je nach Aufgabe stark variiert.

Die Autoren klassifizieren die bestehenden In-Process-Methoden in drei Kategorien: (i) Ausgleich von Vorhersage-Statistiken über sensible Gruppen hinweg, (ii) Ausrichtung latenter Repräsentationen und (iii) direkte Minimierung der Abhängigkeit zwischen Vorhersagen und sensiblen Attributen.

Aus dieser Sicht werden zentrale Eigenschaften eines guten Fairness-Regularizers herausgearbeitet: enge Generalisierungsgrenzen, Robustheit gegenüber Skalendifferenzen und die Fähigkeit, beliebige Vorhersageverteilungen zu handhaben.

Auf Basis dieser Erkenntnisse wird der Cauchy‑Schwarz (CS) Fairness-Regularizer vorgestellt, der die empirische CS‑Divergenz zwischen Vorhersageverteilungen bedingt auf sensible Gruppen penalisiert.

Unter einer Gaußschen Vergleichsanalyse zeigt sich, dass die CS‑Divergenz strengere Grenzen liefert als die Kullback‑Leibler‑Divergenz, die Maximum Mean Discrepancy und die Mittelwertdisparität, die in der Demographic Parity verwendet wird. Diese Vorteile führen zu einem verteilungsfreien, kernelbasierten Schätzer, der sich nahtlos auf mehrere sensitive Attribute erweitern lässt.

Umfangreiche Experimente an vier tabellarischen Benchmarks und einem Bilddatensatz demonstrieren, dass der CS-Regularizer sowohl die Fairness als auch die Modellleistung signifikant verbessert, ohne die Komplexität des Trainings zu erhöhen.

Zusammenfassend bietet der Cauchy‑Schwarz Fairness-Regularizer eine robuste, leistungsfähige Lösung für die Gewährleistung von Gerechtigkeit in maschinellen Lernmodellen und löst die Schwächen bisheriger Regularizer effektiv.