LLMs ableiten demografische Merkmale aus Fragen – Studie warnt vor Bias

Eine neue Untersuchung aus dem arXiv-Repository hat ein bislang wenig beachtetes Problem von Sprachmodellen aufgedeckt: Auch ohne explizite Angaben zu Geschlecht, Rasse oder anderen demografischen Merkmalen können große Sprachmodelle (LLMs) aus der Formulierung einer Frage Rückschlüsse auf die Identität des Fragestellers ziehen. Das Ergebnis ist alarmierend, denn es untergräbt die Erwartung an Neutralität und kann zu unerwünschten Vorurteilen in Bereichen wie Gesundheit, Finanzen und Bildung führen.

Die Forscher haben das Konzept „Demographic Attribute Inference from Questions“ (DAIQ) entwickelt, ein Prüfungsframework, das mit neutralen Testfragen, gezielten Prompting-Strategien und einer Kombination aus quantitativen und qualitativen Analysen die Fähigkeit von Modellen untersucht, demografische Informationen zu rekonstruieren. Dabei wurden sowohl Open‑Source‑ als auch proprietäre LLMs getestet – und die Ergebnisse zeigten, dass beide Modelltypen die gleichen Muster aufweisen.

Die Studie hebt hervor, dass die systematische Erkennung von demografischen Merkmalen ein ernstes Risiko für Privatsphäre, Fairness und Vertrauen darstellt. Durch die unbewusste Rekonstruktion von Identitäten können Stereotype verstärkt und gesellschaftliche Ungleichheiten weiter gefestigt werden. Diese versteckte Bias‑Quelle ist bislang weitgehend übersehen worden und erfordert dringende Maßnahmen.

Um dem entgegenzuwirken, haben die Autoren einen Prompt‑basierten Guardrail entwickelt, der die Wahrscheinlichkeit von Identitätsinferenz deutlich reduziert. Dieser Ansatz hilft, die Modelle an die Prinzipien von Fairness und Datenschutz anzupassen und trägt damit zu einer verantwortungsvolleren Nutzung von KI bei.