Voxtral Realtime: Echtzeit‑Spracherkennung mit Offline‑Qualität

Mit Voxtral Realtime setzt ein neues Streaming‑Spracherkennungsmodell neue Maßstäbe: Es liefert Transkriptionen in Echtzeit mit einer Verzögerung von weniger als einer Sekunde und erreicht dabei die gleiche Genauigkeit wie etablierte Offline‑Modelle. Im Gegensatz zu herkömmlichen Ansätzen, die Offline‑Modelle durch Chunking oder gleitende Fenster anpassen, wird Voxtral Realtime von Grund auf für das Streaming trainiert und nutzt eine explizite Ausrichtung zwischen Audio‑ und Textstream. Die Architektur baut auf dem Delayed Streams Modeling Framework auf und integriert einen neuen kausalen Audio‑Encoder sowie Ada RMS‑Norm, um die Verzögerungsbedingung zu optimieren. Durch das Pretraining auf einem umfangreichen Datensatz, der 13 Sprachen umfasst, erzielt das Modell bei einer Verzögerung von 480 ms eine Leistung, die mit Whisper, dem am weitesten verbreiteten Offline‑Transkriptionssystem, vergleichbar ist. Die Modellgewichte werden unter der Apache‑2.0‑Lizenz freigegeben, sodass Entwickler und Forscher sofort von dieser Technologie profitieren können.