MultiScript30k: Mehrsprachige Übersetzungen erweitern Multi30k um 30.000 Sätze

Die neu veröffentlichte Erweiterung MultiScript30k erweitert das bekannte Multi30k-Datensatz um mehr als 30.000 Sätze in fünf globalen Sprachen. Damit wird die bisher europazentrische Beschränkung des Originaldatensatzes – der nur Tschechisch, Englisch, Französisch und Deutsch enthält – überwunden und ein breiteres Spektrum an Schriftsystemen abgedeckt.

Die Übersetzungen wurden mithilfe des hochmodernen Modells NLLB200-3.3B erstellt, das speziell für die Verarbeitung mehrerer Sprachen entwickelt wurde. Neben Arabisch, Spanisch und Ukrainisch wurden auch vereinfachtes und traditionelles Chinesisch (Zh_Hans und Zh_Hant) hinzugefügt. Der resultierende Datensatz enthält exakt 30.000 Sätze, die alle Originaltexte aus der englischen Version von Multi30k abdecken.

Eine vergleichende Analyse zeigt, dass die neuen Übersetzungen eine Cosinus‑Ähnlichkeit von über 0,8 aufweisen und die symmetrische KL‑Divergenz unter 0,000251 liegt – ein Indikator für hohe sprachliche Übereinstimmung. Die COMETKiwi-Bewertungen geben ein gemischtes Bild: Für Arabisch liegen die Scores nahezu gleich bei der bestehenden ArEnMulti30k-Erweiterung, während die ukrainischen Übersetzungen der MultiScript30k-Version 6,4 % besser abschneiden als die vorherige Multi30k-Uk-Variante.

Durch die Einführung von MultiScript30k wird die multimodale maschinelle Übersetzung (MMT) nun auf eine viel größere Vielfalt an Sprachen und Schriftsystemen ausgeweitet. Dies eröffnet Forschern die Möglichkeit, Modelle zu trainieren und zu evaluieren, die nicht mehr auf lateinische europäische Sprachen beschränkt sind, und fördert damit die Entwicklung von inklusiveren, globalen Übersetzungstechnologien.