Unsicherheitsbewusstes 3D-Emotionen-Gesicht: Neues Syntheseverfahren

Die Erzeugung von 3‑D‑Gesichtern, die gleichzeitig sprechen und Emotionen zeigen, ist ein zentrales Thema in Multimedia und Signalverarbeitung. Bisherige Verfahren leiden häufig an einer schlechten Abstimmung zwischen Audio‑Emotionen und visuellen Ausdrucksformen sowie an einer einheitlichen Multi‑View‑Fusion, die Unsicherheiten und Qualitätsunterschiede ignoriert.

Das neue System UA‑3DTalk adressiert diese Schwächen mit drei innovativen Modulen. Zunächst trennt das Prior‑Extraction‑Modul den Audiosignal in synchronisierte Inhalte und personenspezifische Ergänzungen, um die emotionale Ausrichtung zu verbessern. Anschließend nutzt das Emotion‑Distillation‑Modul eine mehrmodalige, attention‑gewichtete Fusion und eine 4‑D‑Gaussian‑Kodierung mit mehrschichtigen Code‑Books, um fein abgestufte Emotionen zu extrahieren und Mikro‑Ausdruckssteuerung präzise zu ermöglichen. Das Uncertainty‑based‑Deformation‑Modul integriert Unsicherheitsblöcke, die sowohl aleatorische als auch epistemische Unsicherheiten schätzen, und ermöglicht so eine adaptive Multi‑View‑Fusion sowie eine Optimierung der Gaussian‑Primitive über einen Multi‑Head‑Decoder.

In umfangreichen Tests auf Standard‑ und emotionalen Datensätzen übertrifft UA‑3DTalk die führenden Methoden wie DEGSTalk und EDTalk deutlich: Es erzielt einen 5,2 %igen Gewinn im E‑FID‑Score für die emotionale Ausrichtung, verbessert die Lip‑Synchronisation um 3,1 % im SyncC‑Metrik und reduziert die LPIPS‑Differenz um 0,015, was die Bildqualität signifikant steigert.

Diese Fortschritte zeigen, dass die Berücksichtigung von Unsicherheiten und die gezielte Distillation von emotionalen Vorlagen entscheidend sind, um realistische, synchronisierte und emotional glaubwürdige 3‑D‑Gesichtsanimationen zu erzeugen. UA‑3DTalk stellt damit einen wichtigen Schritt in Richtung hochwertiger, benutzerfreundlicher Emotion‑Synthese dar.