MoodBench 1.0: Das erste Messinstrument für emotionale Begleitdialoge

Mit dem rasanten Fortschritt der großen Sprachmodelle wandeln sich Chat‑Bots von reinen Informationswerkzeugen zu emotionalen Begleitern. Diese Entwicklung markiert den Beginn der Ära der Emotional Companion Dialogue Systems (ECDs), die Nutzern personalisierte emotionale Unterstützung bieten sollen.

Bislang fehlt dem Feld jedoch eine klare Definition und ein systematischer Evaluationsstandard für ECDs. Um dem entgegenzuwirken, haben die Autoren zunächst eine formale Beschreibung von ECDs eingeführt und anschließend auf dieser Grundlage das erste Evaluationsbenchmark – MoodBench 1.0 – entwickelt.

Das Benchmark basiert auf dem Prinzip „Ability Layer – Task Layer (drei Ebenen) – Data Layer – Method Layer“ und wurde in einer umfangreichen Studie mit 30 führenden Modellen getestet. Die Ergebnisse zeigen, dass MoodBench 1.0 eine hervorragende diskriminierende Validität besitzt und die Unterschiede in der emotionalen Begleitfähigkeit der Modelle präzise quantifizieren kann.

Darüber hinaus offenbaren die Messungen deutliche Schwächen der aktuellen Modelle in der tiefen emotionalen Begleitung. Diese Erkenntnisse liefern wertvolle Hinweise für die zukünftige technologische Optimierung und unterstützen Entwickler dabei, die Nutzererfahrung von ECDs signifikant zu verbessern.