METAL: Mit wenigen linearen Schichten Sprachen in multimodale Modelle einbinden

Multimodale KI‑Modelle zeigen bisher vor allem im Englischen beeindruckende Ergebnisse, weil dort reichlich Bild‑Text‑ und Audio‑Text‑Daten vorhanden sind. Für die meisten anderen Sprachen verschlechtert sich die Leistung jedoch drastisch, weil die notwendigen mehrsprachigen multimodalen Ressourcen knapp sind.

Die neue Methode METAL löst dieses Problem mit einer schlanken Alignment‑Strategie. Sie nutzt ausschließlich englischen Text und trainiert nur wenige lineare Schichten, um mehrsprachige Text‑Embeddings in den multimodalen Raum zu überführen. Trotz ihrer Einfachheit erreicht METAL die gleiche Leistung wie die Baseline im Englischen (94,9 % Recall@10) und erzielt gleichzeitig eine starke Zero‑Shot‑Transfer‑Performance (89,5 % Recall@10) über 11 bislang nicht getestete Sprachen bei der Text‑zu‑Bild‑Retrieval‑Aufgabe XTD.

Qualitative t‑SNE‑Visualisierungen zeigen, dass die mehrsprachigen Embeddings eng mit den multimodalen Repräsentationen ausgerichtet sind. Eine Analyse der Gewichte verdeutlicht, dass die Transformation die Geometrie der Embeddings neu gestaltet, anstatt nur triviale Rotationen durchzuführen. METAL funktioniert nicht nur bei Bild‑Text‑Retrieval, sondern lässt sich auch erfolgreich auf Audio‑Text‑Retrieval und die kreuzsprachige Text‑zu‑Bild‑Generierung übertragen.

Der komplette Code, die Checkpoints sowie mehrere mehrsprachige Evaluationsdatensätze – darunter MSCOCO Multilingual 30K, AudioCaps Multilingual und Clotho Multilingual – sind auf GitHub und Hugging Face verfügbar, um weitere Forschung zu ermöglichen.