MELLA: Sprachmodell stärkt Low-Resource-Sprachen durch Kultur- und Sprachtraining

Ein neues multimodales Datenset namens MELLA soll die Leistung von großen Sprachmodellen in Sprachen mit wenigen Ressourcen deutlich verbessern. Während bisherige Ansätze vor allem auf Textdaten oder maschineller Übersetzung basierten, legt MELLA den Fokus auf zwei entscheidende Faktoren: die sprachliche Kompetenz und die kulturelle Verankerung der Modelle.

Die Autoren des Papers identifizieren, dass Low-Resource-Sprachen oft nur „dünne Beschreibungen“ erhalten, weil die Modelle nicht genügend multimodale Informationen nutzen. MELLA sammelt deshalb gezielt zwei Arten von Daten: native Web‑Alt‑Texte, die kulturelle Kontexte liefern, und von Modellen generierte Bildunterschriften, die sprachliche Nuancen festhalten. Durch diese duale Quelle kann das Modell sowohl sprachlich als auch kulturell besser trainiert werden.

Nach dem Feintuning auf MELLA zeigen Tests eine generelle Leistungssteigerung bei acht untersuchten Sprachen über verschiedene MLLM‑Backbones hinweg. Die Modelle erzeugen nun „dicke Beschreibungen“, die sowohl sprachlich präziser als auch kulturell relevanter sind. Die Ergebnisse deuten darauf hin, dass die Kombination aus kulturellem Wissen und sprachlicher Fähigkeit die Haupttreiber für die Verbesserungen sind.

Das Datenset ist öffentlich zugänglich unter https://opendatalab.com/applyMultilingualCorpus und bietet Forschern eine wertvolle Ressource, um Sprachmodelle für unterrepräsentierte Sprachen weiter zu optimieren.