Neues Tri-Modal Diffusion-Modell: 3B-Parameter-Ansatz für Text, Bild und Audio

Ein völlig neuer Ansatz für multimodale KI hat die Forschung erschüttert: Das erste Tri‑Modal‑Masked‑Diffusion‑Modell, das von Grund auf mit Text-, Bild‑Text‑ und Audio‑Text‑Daten trainiert wurde, ist nun auf ArXiv veröffentlicht. Mit 3 Milliarden Parametern und 6,4 Billionen Tokens stellt es einen Meilenstein in der Entwicklung von Modellen dar, die gleichzeitig Sprache, Bild und Klang verstehen und generieren können.

Die Autoren haben nicht nur ein Modell vorgestellt, sondern auch eine umfassende Analyse der Skalierung von multimodalen Diffusion‑Modellen geliefert. Sie untersuchen, wie sich die Mischung der Modalitäten, die Rauschpläne und die Batch‑Größe auf die Leistung auswirken, und geben klare Empfehlungen für die optimale Inferenz‑Sampling‑Konfiguration. Diese Erkenntnisse ermöglichen es Entwicklern, die Modelle effizienter und zuverlässiger einzusetzen.

Ein besonders innovativer Beitrag ist die Einführung einer stochastischen Differentialgleichungs‑basierten Reparametrisierung, die die physikalische Batch‑Größe – die durch Rechenkapazität bestimmt wird – von der logischen Batch‑Größe trennt, die zur Stabilisierung des Gradientenoptimierens dient. Dadurch entfällt die bisher notwendige Feinabstimmung der Batch‑Größe, was die Skalierbarkeit und Praktikabilität von Diffusion‑Modellen erheblich verbessert.

Die vorläufige 3‑B-Parameter‑Version des Modells demonstriert beeindruckende Ergebnisse in allen drei Bereichen: Textgenerierung, Text‑zu‑Bild‑Synthese und Text‑zu‑Speech‑Umwandlung. Damit liefert die Studie die bislang größte systematische, offene Untersuchung von multimodalen diskreten Diffusion‑Modellen und liefert wertvolle Einblicke in deren Skalierungsverhalten über mehrere Modalitäten hinweg.