Neues Verfahren erzeugt hochauflösende sprechende Gesichter nur aus Sprache

Ein innovatives Verfahren aus dem arXiv-Preprint See the Speaker zeigt, wie aus einer einzigen Sprachaufnahme hochqualitative, hochauflösende Gesichtsanimationen erzeugt werden können. Im Gegensatz zu bisherigen Methoden, die auf Referenzbilder angewiesen sind, nutzt das neue System die Sprache selbst als primäre Informationsquelle.

Der Ansatz besteht aus zwei aufeinanderfolgenden Schritten. Zunächst wird ein sprachgesteuerter Diffusionsgenerator eingesetzt, der unter Verwendung statistischer Gesichtspriors und einer adaptiven Gewichtungsmodul ein realistisches Porträt erzeugt. Anschließend werden im latenten Raum des Modells dynamische Bewegungen – Lippen, Gesichtsausdrücke und Augenbewegungen – eingebettet und die Lippenbewegung mit einem Region-Enhancement-Modul präzise synchronisiert.

Um die Bildqualität weiter zu steigern, kombiniert das Verfahren einen vortrainierten Transformer-basierten diskreten Codebook mit einem Bildrendering-Netzwerk. Dadurch werden Details in jedem Videoframe end-to-end verbessert. Die Ergebnisse auf den Datensätzen HDTF, VoxCeleb und AVSpeech zeigen, dass das neue Verfahren bestehende Ansätze deutlich übertrifft und damit erstmals hochauflösende, qualitativ hochwertige sprechende Gesichtsanimationen ausschließlich aus einer Sprachaufnahme generiert.