Speicherbasierte Prototypen lernen: Methode zur Erkennung gemischter Emotionen

Emotionen im Alltag sind selten eindeutig – meist erleben Menschen mehrere Gefühlszustände gleichzeitig. Traditionelle Modelle der affektiven Erkennung arbeiten jedoch meist mit einzelnen Emotionen in kontrollierten Laborsituationen. Die neue Methode „Memory‑guided Prototypical Co‑occurrence Learning“ (MPCL) adressiert dieses Problem, indem sie die gleichzeitige Präsenz mehrerer Emotionen als Verteilungslernen betrachtet.

MPCL kombiniert multimodale physiologische und Verhaltenssignale über einen mehrstufigen assoziativen Speicher. Für jede Emotion werden prototypische Speicherbanken aufgebaut, die reichhaltige, multimodale Repräsentationen liefern. Durch „Prototype Relation Distillation“ wird sichergestellt, dass die Prototypen aus verschiedenen Modalitäten im latenten Raum übereinstimmen. Zusätzlich nutzt das Modell eine speicherbasierte Abrufstrategie, die semantische Ko‑Eintreten‑Beziehungen zwischen Emotionen extrahiert – ein Ansatz, der von menschlichen Gedächtnissystemen inspiriert ist.

In umfangreichen Experimenten auf zwei öffentlichen Datensätzen konnte MPCL die Genauigkeit der Vorhersage von Emotionen im Vergleich zu bestehenden Ansätzen deutlich steigern. Die Ergebnisse zeigen, dass die hier vorgestellte hierarchische Abstraktionsstrategie robuste, affektinformative Darstellungen erzeugt und damit die Erkennung von gemischten Emotionen in realen Szenarien verbessert.