Pluralistische Werte im LLM-Alignment: Sicherheit, Inklusivität & Modellverhalten

In einer Zeit, in der große Sprachmodelle (LLMs) zunehmend mit menschlichem Feedback trainiert werden, um sicherer und wertorientierter zu agieren, bleibt die soziale Vielfalt oft unberücksichtigt. Eine neue Studie untersucht, wie die Einbindung pluralistischer Werte das Verhalten von LLMs beeinflusst und welche Kompromisse dabei entstehen.

Die Forscher sammelten 27 375 Bewertungen von 1 095 Teilnehmern aus den USA und Deutschland. Die Nutzer bewerteten die Antworten der Modelle in fünf Bereichen: Toxicität, emotionale Bewusstheit, Sensitivität, stereotype Verzerrung und Hilfsbereitschaft.

Anschließend wurden mehrere LLMs und Large Reasoning Models (LRMs) mit den Präferenzen verschiedener sozialer Gruppen feinabgestimmt. Dabei wurden unterschiedliche Bewertungsskalen, Methoden zur Handhabung von Meinungsverschiedenheiten und Optimierungsstrategien getestet.

Die Ergebnisse zeigen deutliche demografische Unterschiede: Männer bewerteten die Antworten 18 % weniger toxisch als Frauen, während konservative und schwarze Teilnehmer die Modelle 27,9 % bzw. 44 % als emotional bewusster einschätzten als liberale und weiße Teilnehmer.

Modelle, die auf gruppenspezifische Präferenzen abgestimmt wurden, zeigten eindeutig unterschiedliche Verhaltensmuster. Technische Designentscheidungen hatten dabei einen starken Einfluss: Die Beibehaltung von Rater‑Unterschieden senkte die Toxicität um etwa 53 % im Vergleich zur Mehrheitsabstimmung, und 5‑Punkte‑Skalen reduzierten die Toxicität um rund 22 % mehr als binäre Formate.

Darüber hinaus übertraf die Direct Preference Optimization (DPO) die Group Relative Policy Optimization (GRPO) konsequent bei der Optimierung mehrerer Werte. Diese Erkenntnisse legen nahe, dass die Integration pluralistischer Werte sowohl Chancen als auch Herausforderungen für Sicherheit, Inklusivität und Modellverhalten mit sich bringt.