RelayS2S: Dual-Path-Ansatz für Echtzeit-Sprachdialoge

In Echtzeit-Sprachdialogsystemen gilt das klassische Dilemma: Je schneller die Antwort, desto schwächer die Semantik. End‑to‑End‑Speech‑to‑Speech‑Modelle liefern sofortige, natürlich klingende Antworten, während cascaded Pipelines (ASR → LLM) qualitativ hochwertigere Texte erzeugen, aber mit wachsender Latenz. RelayS2S löst dieses Problem, indem es zwei Pfade gleichzeitig startet, sobald ein Sprecherwechsel erkannt wird.

Der schnelle Pfad nutzt ein Duplex‑S2S‑Modell, das spekulativ einen kurzen Antwort‑Prefix erstellt und sofort an die Text‑zu‑Speech‑Engine streamt. So beginnt die Audiospur nahezu ohne Verzögerung, während das System weiterhin Live‑Audio‑Ereignisse überwacht. Parallel dazu läuft der langsame Pfad – ein klassisches ASR‑LLM‑Setup – das den Prefix als Ausgangspunkt nimmt und eine qualitativ verbesserte Fortsetzung generiert.

Ein leichtgewichtiges, lernbasiertes Verifikationsmodul entscheidet, ob der Prefix übernommen wird oder ob das System auf den langsamen Pfad zurückgreift. Dadurch bleibt die Antwort nahtlos, ohne dass die Architektur eines der beiden Komponenten geändert werden muss. Experimente zeigen, dass RelayS2S die P90‑Onset‑Latenz des reinen S2S‑Modells erreicht und gleichzeitig 99 % der Qualität der cascaded‑Antworten beibehält – ein Vorteil, der mit zunehmender Größe des langsamen Modells noch stärker wird.

RelayS2S ist damit ein schlanker, drop‑in‑kompatibler Zusatz für bestehende Pipelines. Der komplette Code und die Daten stehen frei auf GitHub zur Verfügung: https://github.com/mailong25/relays2s.