Neues Benchmark für kulturelle Intelligenz und Werteinferenz in Gemeinschaften

Große Sprachmodelle (LLMs) haben sich als leistungsstarke Technologie etabliert und werden zunehmend in Software‑Engineering‑Teams eingesetzt. Oft sind sie jedoch als „allgemein“ konzipiert und spiegeln vorwiegend westliche, kaukasische Narrative wider, was zu einer Diskrepanz mit anderen Kulturen und marginalisierten Gemeinschaften führt.

Um dieser Lücke entgegenzuwirken, wurden kürzlich kulturorientierte Modelle wie ChatBlackGPT entwickelt, die besser auf historisch benachteiligte Perspektiven abgestimmt sind. Dennoch fehlt bislang ein systematisches Verfahren, um solche kulturell informierten LLMs zu entwickeln und zu bewerten.

Ein Ansatz zur Schaffung eines nationalen Alignment‑Benchmarks wurde vorgestellt, doch angesichts der vielfältigen kulturellen Identitäten in den USA ist ein einheitliches nationales Ziel wenig repräsentativ. Die Autoren schlagen daher vor, den Prozess, der bei der Entwicklung des koreanischen Benchmarks KorNAT verwendet wurde, zu replizieren und damit CIVIQ – ein Benchmark für kulturelle Intelligenz und Werteinferenz – zu schaffen, der sich auf die sozialen Werte und das gemeinsame Wissen von Gemeinschaften konzentriert.

Dieses neue Benchmark liefert eine entscheidende Grundlage für Forschung und Entwicklung, die darauf abzielt, LLMs kulturell sensibler und inklusiver zu gestalten.