Dynin-Omni: Omnimodales Diffusionsmodell für Text, Bild, Sprache & Video

Das neue Modell Dynin-Omni markiert einen Meilenstein in der multimodalen KI: Es ist das erste Omnimodale Diffusionsmodell, das Text, Bild, Sprache und Video in einer einzigen Architektur versteht und generiert. Im Gegensatz zu autoregressiven Systemen, die die Modalitäten seriell verarbeiten, oder zu zusammengesetzten Modellen, die externe Decoder benötigen, nutzt Dynin-Omni Masked Diffusion über einen gemeinsamen diskreten Token‑Raum. Dadurch kann das Modell iterativ unter bidirektionalem Kontext verfeinert werden.

Die Entwicklung erfolgt in mehreren Trainingsschritten, bei denen zunächst die Modalitäten schrittweise erweitert und anschließend durch Modell‑Merging und Omnimodale Ausrichtung aufeinander abgestimmt werden. Diese Vorgehensweise ermöglicht eine effiziente Integration neuer Modalitäten ohne Verlust der bisherigen Fähigkeiten.

In einer umfangreichen Evaluation auf 19 Benchmark‑Sätzen – von Sprachlogik über Bildgenerierung und -bearbeitung bis hin zu Video‑Verständnis und Sprach‑Erkennung/-Synthese – erzielt Dynin-Omni beeindruckende Ergebnisse: 87,6 Punkte bei GSM8K, 1 733,6 bei MME‑P, 61,4 bei VideoMME, 0,87 bei GenEval und 2,1 WER bei LibriSpeech test‑clean. Damit übertrifft es bestehende Open‑Source‑Unified‑Modelle und bleibt gleichzeitig konkurrenzfähig gegenüber spezialisierten Expertensystemen.

Die Ergebnisse zeigen, dass Masked Diffusion ein starkes, einheitliches Paradigma für „any‑to‑any“-Modellierung darstellt. Dynin-Omni eröffnet die Möglichkeit für Echtzeit‑Omnimodale Systeme, einheitliche Cross‑Modal‑Retrieval‑ und Generierungsanwendungen sowie eingebettete multimodale Agenten, die nahtlos zwischen Text, Bild, Sprache und Video wechseln können.