Neues Tool misst synchrones Verhalten von digitalen Menschen in Gruppengesprächen

In der Forschung zu digitalen Menschen – autonomen Agenten, die in Mehrparteieninteraktionen auftreten – fehlt bislang ein umfassendes Messinstrument, das die dynamische Koordination zwischen den Beteiligten erfasst. Ein neues, auf Interventionen basierendes Framework liefert genau das: eine objektive Bewertung des sozialen Verhaltens anhand von Skelettbewegungsdaten.

Das Tool kombiniert drei ergänzende Dimensionen: Erstens die Synchronisation, gemessen mit der Cross‑Recurrence Quantification Analysis (CRQA); zweitens die zeitliche Ausrichtung, bewertet über die Beat‑Consistency, die auf einer multiskalaren empirischen Modenzerlegung basiert; und drittens die strukturelle Ähnlichkeit, erfasst durch Soft Dynamic Time Warping (Soft‑DTW). Diese drei Kennzahlen liefern orthogonale Einblicke in räumliche Struktur, Timing‑Alignment und Verhaltensvariabilität.

Die Sensitivität der Messgrößen wurde an drei gezielten Störungen getestet: kinematisches Dämpfen von Gesten, einheitliche Verzögerungen zwischen Sprache und Gestik sowie die Reduktion der prosodischen Tonhöhenvarianz. Für etwa 145 30‑Sekunden‑Schnipsel aus dem DnD‑Datensatz wurden die Auswirkungen analysiert. Mixed‑Effects‑Analysen zeigten vorhersehbare, teilnehmerunabhängige Effekte: Das Dämpfen steigerte die Determiniertheit der CRQA und verringerte die Beat‑Consistency, Verzögerungen schwächten die Kopplung zwischen den Teilnehmern, und das Abflachen der Tonhöhe erhöhte die Soft‑DTW‑Kosten.

Ein ergänzendes Wahrnehmungsstudie mit 27 Probanden verglich die Einschätzungen von vollständigen Videoaufnahmen und Skelett‑Darstellungen. So konnte die Wirkung der Repräsentation auf die Bewertung des Verhaltens quantifiziert werden. Das Ergebnis ist ein robustes Toolkit, das Forschern und Entwicklern hilft, sozial intelligente Agenten zu evaluieren und gezielt zu verbessern.

Der komplette Code ist frei verfügbar auf GitHub.