LLM‑Bias: Dialektabhängige Stereotype und effektive Gegenmaßnahmen

Eine neue Analyse auf arXiv untersucht, wie große Sprachmodelle (LLMs) Stereotype je nach Dialekt erzeugen. Die Autoren zeigen, dass die Ausgaben von Modellen stark von der Schreibweise abhängen – insbesondere unterscheiden sich die Ergebnisse, wenn dieselben Eingaben in Standard American English (SAE) und African‑American English (AAE) gestellt werden.

Zur Wiederholung bestehender Studien und zur Erprobung von Gegenmaßnahmen haben die Forscher acht Prompt‑Templates entwickelt. Diese Templates lassen sich nutzen, um Namen, Berufe und Adjektive für Sprecher beider Dialekte zu generieren und so die Bias‑Manifestationen systematisch zu erfassen.

Die Bewertung erfolgte über einen „LLM‑as‑Judge“-Ansatz, bei dem ein weiteres Modell die erzeugten Texte auf stereotype Inhalte prüft. Die Ergebnisse zeigen deutliche Unterschiede zwischen SAE‑ und AAE‑Ausgaben, wobei die stärksten Effekte bei Adjektiven und Berufszuweisungen auftreten.

Die Diskrepanz variiert stark zwischen den Modellen: Claude Haiku weist die größte SAE‑AAE‑Differenz auf, während Phi‑4 Mini die kleinste zeigt. Chain‑of‑Thought‑Prompting konnte Claude Haiku signifikant verbessern, jedoch blieb die Bias‑Reduktion bei anderen Modellen ungleich.

Ein Multi‑Agenten‑Ansatz, der aus Generation, Kritik und Revision besteht, erzielte hingegen bei allen Modellen eine konsistente Verringerung der Stereotype. Diese Methode stellt damit eine robuste Lösung dar, um Dialekt‑Bias in generativen KI‑Systemen zu minimieren.

Die Studie unterstreicht, dass Fairness‑Bewertungen modell‑spezifisch sein müssen, wenn intersektionale Aspekte in der Softwareentwicklung berücksichtigt werden sollen. Durch gezielte Prompt‑Engineering‑Strategien und Multi‑Agenten‑Architekturen lassen sich diskriminierende Muster in LLM‑Ausgaben wirksam reduzieren.