MERaLiON‑SER: Robustes Spracherkennungsmodell für Emotionen in Englisch & SEA

Ein neues Modell namens MERaLiON‑SER hat die Messlatte für die Spracherkennung von Emotionen in Englisch und südostasiatischen Sprachen höher gelegt. Durch die Kombination von gewichteter kategorischer Kreuzentropie und dem Concordance Correlation Coefficient (CCC) kann das System sowohl diskrete Emotionen wie „glücklich“ oder „wütend“ als auch kontinuierliche Dimensionen wie Erregung, Valenz und Dominanz gleichzeitig erfassen.

Die Entwickler haben das Modell auf einer Vielzahl von Sprachen getestet, darunter Englisch, Chinesisch, Malaiisch und Tamil. In allen Fällen übertraf MERaLiON‑SER sowohl Open‑Source‑Sprachencoder als auch große Audio‑LLMs. Diese Ergebnisse unterstreichen, wie wichtig spezialisierte, sprachunabhängige Modelle für eine präzise paralinguistische Analyse sind.

Darüber hinaus bietet die Architektur eine solide Basis, um emotionenbewusste Wahrnehmung in zukünftige Audio‑Agenten zu integrieren. Damit können Systeme empathischer und kontextsensitiver agieren, was insbesondere in multimodalen Anwendungen von großem Nutzen ist.