Mini-Omni-Reasoner ermöglicht nahtloses Denken im Sprachmodell

In einer wegweisenden Veröffentlichung präsentiert ein internationales Forschungsteam den Mini‑Omni‑Reasoner, ein neues Framework, das das Denken direkt in die Sprachgenerierung integriert. Durch die Kombination von „Thinking‑in‑Speaking“ mit einer hierarchischen Thinker‑Talker‑Architektur schafft das System eine kontinuierliche Sprachproduktion, die gleichzeitig strukturiertes internes Denken ermöglicht.

Derzeit basieren große Sprachmodelle (LSMs) auf einer sequentiellen Vorgehensweise: Zuerst wird das gesamte Denken abgeschlossen, bevor die Antwort ausgesprochen wird. Diese Methode führt zu spürbaren Verzögerungen und beeinträchtigt die Echtzeit‑Interaktion. Mini‑Omni‑Reasoner löst dieses Problem, indem es stillschweigende Denk‑Tokens und gesprochene Antwort‑Tokens auf Token‑Ebene miteinander verwebt. So kann das Modell gleichzeitig denken und sprechen, ohne die Flussrate der Sprache zu unterbrechen.

Um die Kohärenz zwischen Denken und Sprechen sicherzustellen, wird bei jedem Token eine lokale semantische Ausrichtung erzwingt. Das bedeutet, dass jeder gesprochene Token unmittelbar von den vorhergehenden Denk‑Tokens beeinflusst wird. Diese Technik nutzt die hohe Token‑Verarbeitungsfrequenz der Modelle und gewährleistet, dass die Antwort stets auf dem aktuellen Denkstand aufbaut.

Zur Unterstützung des neuen Ansatzes wurde das umfangreiche Dataset Spoken‑Math‑Problems‑3M entwickelt. Es enthält tausende von Sprachaufgaben, bei denen die gesprochenen Tokens konsequent den relevanten Denk‑Inhalten folgen. Damit können Modelle effizient lernen, wie man sprachgebundene Probleme löst und gleichzeitig intern strukturiert denkt. Der Mini‑Omni‑Reasoner setzt damit einen bedeutenden Schritt in Richtung natürlicher, reaktionsschneller Sprachinteraktion, die sowohl verständlich als auch analytisch ist.