ChiEngMixBench: Benchmark für Code‑Mixing in chinesisch‑englischen Gesprächen

In der heutigen digitalen Kommunikation wird Code‑Mixing – das gleichzeitige Verwenden mehrerer Sprachen – immer häufiger. Bisher wurden die meisten Studien jedoch auf Übersetzungsaufgaben beschränkt, sodass nicht klar ist, ob ein Sprachmodell in der Lage ist, Sprachwechsel kontextgerecht und im Einklang mit menschlichen Konventionen durchzuführen.

Mit dem neuen Benchmark ChiEngMixBench wird dieses Problem erstmals systematisch adressiert. Der Ansatz definiert Code‑Mixing als ein Problem der kognitiven Ausrichtung, das sich in zwei ergänzenden Signalen – Spontaneität und Natürlichkeit – ausdrückt. Durch einen skalierbaren Aufbauprozess lässt sich das Benchmark‑Set leicht auf verschiedene Domänen und Sprachpaare erweitern.

Die Evaluation zeigt, dass die entwickelten Metriken die Code‑Mixing‑Leistung verschiedener Modelle zuverlässig voneinander unterscheiden können. Darüber hinaus wurde ein bislang nicht erkennbares Phänomen – die „Terminology Layering Strategy“ – entdeckt, das mit der Matrix Language Frame‑Theorie übereinstimmt und auf eine strukturierte kognitive Ausrichtung zwischen mehrsprachigen großen Sprachmodellen und menschlicher Kommunikation hinweist.