Einheitliches Bewertungsframework für Multi‑Annotator‑Tendenzlernen

In den letzten Jahren hat die Forschung im Bereich des Multi‑Annotator‑Learnings einen Paradigmenwechsel vollzogen: Statt die unterschiedlichen Annotationen zu einer einzigen Konsens‑Vorhersage zu aggregieren, konzentrieren sich die neuen Ansätze auf das Modellieren individueller Tendenzen der Annotatoren. Diese Individual Tendency Learning‑Methoden ermöglichen eine tiefere Analyse der Entscheidungsprozesse der einzelnen Labeler.

Bislang fehlt jedoch ein einheitliches Bewertungssystem, das prüft, ob die Modelle tatsächlich die individuellen Tendenzen erfassen und sinnvolle Verhaltens‑Erklärungen liefern. Um diese Lücke zu schließen, wurde das erste umfassende Evaluationsframework vorgestellt. Es bietet zwei neuartige Metriken, die die Qualität der Tendenzmodellierung und der erklärenden Ausgaben systematisch bewerten.

Die erste Metrik, Difference of Inter‑Annotator Consistency (DIC), misst, wie genau die vom Modell vorhergesagten Ähnlichkeitsstrukturen zwischen Annotatoren mit den tatsächlichen Strukturen übereinstimmen. Die zweite Metrik, Behavior Alignment Explainability (BAE), bewertet, inwieweit die erklärenden Ergebnisse des Modells die realen Entscheidungsrelevanzen der Annotatoren widerspiegeln, indem sie die erklärungsbasierten Strukturen mittels Multidimensional Scaling mit den Ground‑Truth‑Strukturen abgleichen. Umfangreiche Experimente zeigen, dass das neue Framework die Leistungsfähigkeit von ITL‑Methoden zuverlässig und aussagekräftig bewertet.