Mehr als ein Referenztext: Paraphrasen steigern Sign Language Translation Bewertung

In der Forschung zu Sign Language Translation (SLT) werden bislang fast ausschließlich einzelne schriftsprachliche Referenzen zu jeder Gebärdensprache verwendet. Doch die Beziehung zwischen Gebärde und gesprochener Sprache ist nicht eindeutig, sodass mehrere Übersetzungen gleichermaßen korrekt sein können. Dieses Problem limitiert sowohl das Training als auch die Bewertung von SLT‑Modellen, insbesondere bei n‑gram‑basierten Metriken wie BLEU.

Die neue Studie nutzt große Sprachmodelle, um automatisch paraphrasierte Varianten der schriftsprachlichen Referenzen zu erzeugen. Dabei werden verschiedene Paraphrasierungsstrategien verglichen und mit einer angepassten ParaScore‑Metrik bewertet. Anschließend wird untersucht, wie sich diese synthetischen Alternativreferenzen auf das Training und die Bewertung eines pose‑basierten T5‑Modells auswirken – zunächst auf den Datensätzen YouTubeASL und How2Sign.

Ergebnisse zeigen, dass das bloße Einbeziehen von Paraphrasen während des Trainings weder die Übersetzungsleistung steigert noch verbessert. Im Gegenteil, es kann sogar nachteilig wirken. Auf der anderen Seite führt die Verwendung von Paraphrasen bei der Bewertung zu deutlich höheren automatischen Scores und einer besseren Übereinstimmung mit menschlichen Einschätzungen.

Um diese Beobachtung zu formalizieren, wird die neue Metrik BLEUpara vorgestellt – eine Erweiterung von BLEU, die Übersetzungen gegen mehrere paraphrasierte Referenzen bewertet. Eine menschliche Evaluation bestätigt, dass BLEUpara eine stärkere Korrelation mit der wahrgenommenen Übersetzungsqualität aufweist.

Alle generierten Paraphrasen sowie der zugehörige Code für Generierung und Bewertung werden veröffentlicht, um eine reproduzierbare und zuverlässigere Bewertung von SLT‑Systemen zu ermöglichen.