LLMs verbinden Namen und Berufe mit Geschlechter- und Rassenrepräsentationen

In einer wegweisenden Studie haben Forscher gezeigt, dass große Sprachmodelle (LLMs) aus indirekten Hinweisen wie Namen und Berufen lineare Repräsentationen von Geschlecht, Rasse und anderen demografischen Merkmalen bilden.

Durch gezielte Tests an vier Open-Source-Transformern – Magistral 24B, Qwen3 14B, GPT‑OSS 20B und OLMo2‑1B – konnten die Autoren die Aktivierungsmuster in den Residual-Streams der einzelnen Schichten untersuchen. Die Modelle wurden zunächst mit expliziten demografischen Angaben gefüttert, um die Repräsentationen zu kalibrieren.

Die Ergebnisse zeigen, dass dieselben linearen Probes nicht nur bei expliziten Angaben, sondern auch bei impliziten Signalen funktionieren: Namen aktivieren demografische Zustände, die mit den US‑Zensusdaten übereinstimmen, während Berufsbezeichnungen Repräsentationen hervorrufen, die stark mit realen Arbeitsmarktstatistiken korrelieren.

Diese linearen Strukturen ermöglichen es, die von LLMs während einer Unterhaltung implizit gebildeten demografischen Inferenzprozesse transparent zu erklären. Die Forscher demonstrierten zudem, dass diese impliziten Repräsentationen das Verhalten der Modelle beeinflussen – etwa bei der Empfehlung von Karrierewegen.

Die Studie warnt eindringlich davor, dass selbst Modelle, die Bias‑Benchmarks bestehen, noch immer versteckte Vorurteile besitzen und nutzen können. Das hat weitreichende Konsequenzen für die Fairness von KI‑Systemen, wenn sie in großem Maßstab eingesetzt werden.