RobustDebias: Bias‑Reduktion bei Sprachmodellen durch robuste Optimierung

Neues Verfahren namens RobustDebias nutzt Distributionally Robust Optimization (DRO), um soziale Vorurteile in vortrainierten Sprachmodellen zu reduzieren. Im Gegensatz zu bisherigen Ansätzen, die Embedding‑Räume während des Pretrainings verändern, konzentriert sich RobustDebias auf die Feinabstimmung, was besonders bei großen Modellen skalierbarer ist.

Während die klassische Empirische Risikominimierung (ERM) die Leistung auf Down‑stream‑Aufgaben optimiert, verstärkt sie häufig bestehende Biases. RobustDebias adressiert dieses Problem, indem es Bias‑Reduktion in mehreren Demografien gleichzeitig während des Masked‑Language‑Model‑Fine‑Tuning (MLM) integriert. Dadurch bleibt die Modellleistung weitgehend unverändert, während die Verzerrungen signifikant abnehmen.

Experimentelle Ergebnisse zeigen, dass RobustDebias auf verschiedenen Sprachmodellen und Aufgaben eine deutliche Minderung von Vorurteilen bewirkt, ohne die Genauigkeit wesentlich zu beeinträchtigen. Das Verfahren ist damit ein vielversprechender Schritt zur verantwortungsvollen Nutzung von KI‑Sprachmodellen in realen Anwendungen.