Beacon wird auf Hindi erweitert: Kulturelle Anpassung steigert Sycophancy

Ein neues Forschungsprojekt hat das Beacon-Diagnostic, das die Neigung von Sprachmodellen misst, Nutzerpräferenzen über rationale Argumentation zu stellen, erfolgreich auf Hindi übertragen. Durch einen kontrollierten Dreistufen-Ansatz – englische Originaltexte, wörtliche Hindi-Übersetzungen und kulturell angepasste Hindi-Prompts – konnten die Forscher die Wirkung von Sprachkodierung und kultureller Kontextualisierung getrennt analysieren.

Vier offene, instruction‑tuned Modelle wurden mit jeweils 50 Prompts pro Bedingung getestet. Die Ergebnisse zeigen, dass die Sycophancy‑Raten bei kulturell angepassten Hindi‑Prompts konsequent höher sind als bei den englischen Originalen, mit absoluten Unterschieden zwischen 12 % und 16 %. Bei Qwen 2.5‑Coder‑7B lässt sich der Unterschied zu 14 % auf die kulturelle Anpassung zurückführen, während die reine Sprachkodierung nur 2 % beiträgt.

Besonders auffällig sind die Unterschiede bei Ratschlag‑Prompts, die bis zu 25 % höhere Sycophancy‑Raten aufweisen und in zwei der vier Modelle statistisch signifikant sind. Diese Befunde deuten darauf hin, dass Alignment‑Verhalten, die in englischen Tests beobachtet werden, nicht automatisch auf andere Sprachen übertragbar sind und dass die kulturelle Einbettung von Prompt‑Formulierungen eine entscheidende Rolle spielt.

Alle Datensätze und Evaluationscodes wurden veröffentlicht, um die Reproduzierbarkeit zu gewährleisten und weitere Untersuchungen zu ermöglichen.