LSR-Benchmark zeigt Schwächen bei Sicherheitsmechanismen in Westafrika

Die Sicherheit großer Sprachmodelle beruht bislang stark auf englischsprachigen Trainingsdaten. Wenn schädliche Absichten in Sprachen mit wenigen Ressourcen ausgedrückt werden, bleiben die üblichen Ablehnungsmechanismen oft aus.

Mit dem neuen LSR‑Benchmark (Linguistic Safety Robustness) wird erstmals systematisch gemessen, wie stark die Ablehnungsfähigkeit von Modellen bei westafrikanischen Sprachen – Yoruba, Hausa, Igbo und Igala – abnimmt. Der Ansatz nutzt ein Dual‑Probe‑Evaluationsprotokoll, bei dem dieselben Modelle sowohl mit englischen als auch mit zielsprachlichen Testfragen konfrontiert werden.

Ein zentrales Feature ist der Refusal Centroid Drift (RCD), ein Maß dafür, wie viel des englischen Ablehnungsverhaltens verloren geht, wenn die schädliche Intention in einer der Zielsprachen formuliert wird. Bei der Bewertung von Gemini 2.5 Flash mit 14 kulturbezogenen Angriffsszenarien in vier Schadenskategorien blieb die Ablehnungsrate in Englisch bei rund 90 %. In den westafrikanischen Sprachen sank sie jedoch auf 35 – 55 %, wobei Igala die stärkste Verschlechterung zeigte (RCD = 0.55).

Der LSR‑Benchmark ist im Inspect‑AI‑Evaluation‑Framework integriert und steht als PR‑fertiger Beitrag im inspect_evals‑Repository der UK AISI zur Verfügung. Sowohl die Referenzimplementierung als auch das Benchmark‑Dataset sind öffentlich zugänglich.