Modal‑Mixed Chain‑of‑Thought: Neue multimodale Denkweise mit latenten Embeddings

In einer neuen Studie wird die Chain‑of‑Thought‑Methode (CoT) über reine Textschritte hinaus erweitert, um multimodale Probleme besser zu lösen. Während CoT LLMs und VLMs dabei unterstützt, Zwischenschritte zu formulieren, stößt die ausschließlich textbasierte Variante bei bildintensiven Aufgaben oft an ihre Grenzen.

Die Autoren stellen den „modal‑mixed CoT“ vor, bei dem Text‑Tokens mit kompakten visuellen Skizzen – als latente Embeddings dargestellt – abgewechselt werden. Dabei dient das VLM selbst als Encoder; die Sprach‑Backbone wird darauf trainiert, die eigenen Zwischen‑Vision‑Embeddings wiederherzustellen, sodass die semantische Ausrichtung des visuellen Latent‑Raums gewährleistet bleibt.

Ein diffusion‑basierter Latent‑Decoder wird über ein spezielles Kontroll‑Token aktiviert und auf den versteckten Zuständen des VLMs konditioniert. So trägt der Diffusionskopf feine visuelle Details bei, während das VLM die übergeordneten Absichten vorgibt, was die Rollen klar trennt und den Optimierungsdruck reduziert. Das Training erfolgt in zwei Phasen: zunächst ein überwacht‑es Feintuning mit einer kombinierten Next‑Token‑ und Latent‑Reconstruction‑Aufgabe, gefolgt von Reinforcement‑Learning, das lernt, wann zwischen Modalitäten gewechselt und lange Denkketten aufgebaut werden sollen.

Durch umfangreiche Experimente an 11 unterschiedlichen multimodalen Aufgaben zeigt die Methode eine deutlich bessere Leistung als reine Sprach‑CoT‑Ansätze und andere Varianten. Der zugehörige Code wird öffentlich zugänglich gemacht.