Diffusion- und autoregressive VLMs im Multimodal-Embedding-Raum verglichen

In der neuesten Studie von arXiv:2602.06056v1 wird untersucht, ob Multimodal Diffusion Language Models (dLLMs) als effektive Embedding‑Modelle fungieren können. Die Autoren konvertieren die Modelle in Embedding‑Formate und vergleichen sie systematisch mit autoregressiven Vision Language Models (VLMs).

Die Bewertung erstreckt sich über drei zentrale Aufgaben: Klassifikation, visuelle Frage‑Antwort (VQA) und Informationsretrieval. Dabei schneiden die dLLM‑Embeddings generell schlechter ab als ihre autoregressiven Gegenstücke. Das leistungsstärkere Diffusionsmodell LaViDa liegt bei der Klassifikation nur 3,5 Punkte hinter dem autoregressiven VLM, bei VQA 2,5 Punkte und bei Retrieval 4,4 Punkte. Das andere Diffusionsmodell MMaDA weist dagegen deutlich größere Defizite auf – mehr als 20 Punkte Unterschied in allen drei Aufgaben.

Eine tiefergehende Analyse zeigt, dass die Bild‑Text‑Alignment‑Qualität bei Diffusionsmodellen unzureichend ist, was die geringere Performance erklärt. Die Ergebnisse verdeutlichen, dass autoregressive VLMs derzeit die bessere Wahl für multimodale Embedding‑Anwendungen darstellen, während Diffusionsmodelle noch Optimierungsbedarf haben.