Kritik an der „Ground Truth“-Illusion: Diskurs über subjektive Datenannotation

In einer umfassenden systematischen Literaturübersicht wurden 346 wissenschaftliche Arbeiten aus den Jahren 2020 bis 2025 analysiert, die sich mit der Praxis der Datenannotation im maschinellen Lernen beschäftigen. Die Studie zog Daten aus sieben renommierten Fachzeitschriften und Konferenzen – darunter ACL, AIES, CHI, CSCW, EAAMO, FAccT und NeurIPS – heran. Ausgangspunkt waren 30 897 Publikationen, die durch ein mehrstufiges Stichwortfiltering auf 3 042 relevante Artikel reduziert wurden, bevor die Endauswahl von 346 Papieren manuell überprüft und qualitativ ausgewertet wurde.

Die Ergebnisse zeigen, dass die gängige Annahme einer objektiven „Ground Truth“ auf einer positivistischen Fehlannahme beruht, die menschliche Meinungsverschiedenheiten als technisches Rauschen abwertet. Stattdessen wird menschliche Divergenz als wertvolles sozio-technisches Signal betrachtet. Die Analyse identifiziert mehrere zentrale Mechanismen, die zu diesem „Consensus‑Trap“ führen: fehlende Transparenz der Positionen der Annotator*innen, die zunehmende Verlagerung zu Modellen, die Menschen als Verifikator*innen einsetzen, und die Abhängigkeit von modellgestützten Annotationen. Diese Faktoren erzeugen tiefgreifende Anker‑Bias‑Effekte und führen dazu, dass menschliche Stimmen aus dem Entscheidungsprozess ausgeschlossen werden.

Ein weiterer Befund ist die geografische Hegemonie, die westliche Normen als universelle Standards durchsetzt. Diese Dominanz wird oft durch die performative Anpassung von prekären Datenarbeiter*innen verstärkt, die sich stärker an die Vorgaben der Auftraggeber*innen halten, um finanzielle Sanktionen zu vermeiden. Die Studie kritisiert die „noisy‑sensor“-Fallacy, bei der statistische Modelle kulturelle Vielfalt fälschlicherweise als zufälliges Rauschen interpretieren. Stattdessen wird betont, dass Diskrepanzen in den Annotationen ein hochpräzises Signal darstellen, das für die Entwicklung fairer und inklusiver KI‑Modelle unerlässlich ist.

Zusammenfassend fordert die Arbeit eine Neubewertung der Annahmen über „Ground Truth“ und plädiert dafür, menschliche Meinungsverschiedenheiten aktiv in den Lernprozess einzubeziehen. Nur so kann die KI‑Forschung von einer einseitigen, technisch orientierten Perspektive zu einer inklusiven, sozial verantwortlichen Praxis übergehen.