LLMs enthüllen Bias: Studie zeigt Fortschritte bei der Erkennung von Stereotypen

Eine neue Untersuchung auf arXiv beleuchtet, wie große Sprachmodelle (LLMs) sowohl explizite als auch implizite Vorurteile aus ihren Trainingsdaten übernehmen. Die Autoren betonen, dass die Identifikation und Minderung solcher Biases entscheidend ist, um faire und verantwortungsvolle KI‑Ausgaben zu gewährleisten.

Zur Analyse wurden etablierte Benchmarks wie StereoSet und CrowSPairs eingesetzt, während Modelle wie BERT und GPT‑3.5 getestet wurden. Das Team entwickelte ein automatisiertes Bias‑Identification‑Framework, das soziale Vorurteile in Bereichen wie Geschlecht, Rasse, Beruf und Religion erkennt. Dabei kombinierte es eine zweigleisige Strategie, um sowohl explizite als auch implizite Biases im Text zu identifizieren.

Die Ergebnisse zeigen, dass feinabgestimmte Modelle bei der Erkennung von Geschlechterbiases noch Schwierigkeiten haben, während sie bei der Vermeidung von Rassenbiases deutlich besser abschneiden. Ein weiteres Ergebnis ist die starke Abhängigkeit von Schlüsselwörtern, die die Modelle oft überbewerten. Durch Bag‑of‑Words‑Analysen wurden zudem Hinweise auf implizite Stereotypisierung im Vokabular entdeckt.

Um die Leistung zu steigern, nutzte die Studie eine Optimierungsstrategie, die Prompting‑Techniken und Datenaugmentation der Bias‑Benchmarks einsetzt. Die feinabgestimmten Modelle zeigten eine bemerkenswerte Anpassungsfähigkeit bei Kreuzdatensatztests und verbesserten ihre Leistung bei impliziten Bias‑Benchmarks um bis zu 20 %. Diese Fortschritte markieren einen wichtigen Schritt in Richtung fairerer und transparenterer KI‑Systeme.