Emotionale Graphen ermöglichen Zero-Shot-Spracherkennung ohne Feinabstimmung

Große Audio‑Sprachmodelle (LALMs) zeigen bereits beeindruckende Leistungen bei vielen Sprachaufgaben, doch bei der Erkennung von Emotionen im gesprochenen Text bleiben sie hinter den Erwartungen zurück. Der Grund liegt in schwachen paralinguistischen Modellen und begrenzter Fähigkeit, zwischen Audio- und Textinformationen zu verknüpfen.

Um dieses Problem zu lösen, stellen die Forscher das Konzept „Compositional Chain‑of‑Thought Prompting for Emotion Reasoning“ (CCoT‑Emo) vor. Dabei werden strukturierte Emotion‑Graphen (EGs) in die Prompt‑Struktur eingebettet. Jeder Graph enthält sieben akustische Merkmale – wie Tonhöhe, Sprechtempo, Jitter und Shimmer – sowie Text‑Sentiment, Schlüsselwörter und Querverbindungen zwischen den Modalitäten.

Durch die Einbettung dieser Graphen erhalten die LALMs interpretierbare und zusammensetzbare Darstellungen, die die emotionale Inferenz ohne zusätzliche Feinabstimmung verbessern. In umfangreichen Tests auf etablierten SER‑Benchmarks übertrifft CCoT‑Emo die bisherigen Spitzenleistungen und steigert die Genauigkeit deutlich gegenüber herkömmlichen Zero‑Shot‑Baselines.