<span style="font-weight:bold;">PESTalk: Sprachgesteuerte 3D‑Gesichtsanimation mit persönlichem Emotionen‑Stil</span>

Die neueste Veröffentlichung auf arXiv (2512.05121v1) stellt PESTalk vor – ein innovatives Verfahren, das 3‑D‑Gesichtsanimationen mit individuell abgestimmten emotionalen Stilen direkt aus gesprochenem Text erzeugt. Durch die Kombination von Sprach- und Emotionserkennung setzt PESTalk neue Maßstäbe in der realistischen Darstellung menschlicher Mimik.

Im Kern nutzt PESTalk einen Dual‑Stream Emotion Extractor (DSEE), der sowohl zeit- als auch frequenzbasierte Audiofeatures erfasst, um Emotionen fein granular zu analysieren. Ergänzt wird dies durch das Emotional Style Modeling Module (ESMM), das auf Basis von Voiceprint‑Charakteristika persönliche Ausdrucksmuster modelliert. Diese beiden Komponenten ermöglichen eine präzise und nuancierte Darstellung von Emotionen, die bisherige Ansätze nicht bieten konnten.

Um die Herausforderung knapper Daten zu überwinden, wurde ein neues 3D‑EmoStyle‑Datenset erstellt, das eine breite Palette von Emotionen und individuellen Ausdrucksweisen abdeckt. Evaluierungen zeigen, dass PESTalk die aktuellen Spitzenreiter deutlich übertrifft und dabei realistische sowie personalisierte Gesichtsanimationen liefert. Diese Fortschritte eröffnen spannende Perspektiven für Anwendungen in Animation, Virtual Reality und der Mensch‑Computer‑Interaktion.