Edu-EmotionNet: Dynamische multimodale Emotionserkennung für Online‑Lernen

In der Online‑Bildung ist das Verständnis von Lernenden‑Emotionen entscheidend, um Engagement zu steigern und personalisierte Lernpfade zu gestalten. Traditionelle Ansätze zur Emotions‑Erkennung nutzen zwar multimodale Fusion und zeitliche Modelle, setzen jedoch häufig auf statische Fusion und gehen davon aus, dass alle Modalitäten zuverlässig sind – ein Szenario, das in realen Lernumgebungen selten zutrifft.

Edu‑EmotionNet präsentiert ein neues Framework, das die zeitliche Entwicklung von Emotionen und die Zuverlässigkeit der Modalitäten gleichzeitig modelliert. Das System kombiniert drei Kernkomponenten: einen Cross‑Modality Attention Alignment (CMAA) – der dynamisch Kontextinformationen zwischen Modalitäten austauscht, einen Modality Importance Estimator (MIE) – der jeder Modality zu jedem Zeitpunkt ein vertrauensbasiertes Gewicht zuweist, und einen Temporal Feedback Loop (TFL) – der frühere Vorhersagen nutzt, um zeitliche Konsistenz sicherzustellen.

Auf neu annotierten Teilsets von IEMOCAP und MOSEI, die die Emotionen Verwirrung, Neugier, Langeweile und Frustration abbilden, erzielt Edu‑EmotionNet einen branchenführenden Leistungswert. Besonders hervorzuheben ist die robuste Leistung bei fehlenden oder verrauschten Modalitäten. Visualisierungen zeigen, wie das Modell emotionale Übergänge erfasst und zuverlässig die verlässlichsten Signale priorisiert – ein entscheidender Vorteil für die Echtzeit‑Implementierung in Lernplattformen.