Neues Bewertungsmaß für Dialogsegmentierung: Granularität statt F1

Die Bewertung von Dialogtopic‑Segmentierungssystemen wird seit Jahrzehnten von strengen Grenz‑Matching‑Regeln und F1‑Metriken dominiert. Doch moderne LLM‑basierte Chatbots nutzen Segmentierung zunehmend, um den Gesprächsverlauf über das feste Kontextfenster hinaus zu verwalten. In diesem Kontext führt die bisherige Praxis zu ineffizienter und weniger kohärenter Gesprächsführung.

In der vorliegenden Arbeit wird ein neues Evaluationsziel vorgestellt, das die Dichte der Grenzen und die Kohärenz der Segmente als Hauptkriterien definiert und zusätzlich eine fenster‑tolerante F1‑Metrik (W‑F1) einführt. Durch umfangreiche Kreuz‑Datensatz‑Analysen zeigt die Studie, dass die berichteten Leistungsunterschiede zwischen Modellen nicht auf deren Qualität zurückzuführen sind, sondern vielmehr auf Unterschiede in der Annotationgranularität und auf spärlich verteilte Grenzlabels.

Die Autoren haben verschiedene, strukturell unterschiedliche Segmentierungsstrategien auf acht Dialogdatensätzen – von task‑orientierten bis zu offenen, meeting‑ähnlichen und synthetischen Interaktionen – evaluiert. Dabei wurde beobachtet, dass die Modelle zwar sehr kohärente Segmente erzeugen, jedoch stark übersegmentieren, wenn die Referenzlabels spärlich sind. Diese Übersegmentierung führt zu niedrigen exakten F1‑Werten, obwohl die tatsächliche Segmentkohärenz hoch ist.

Die Ergebnisse legen nahe, dass Dialogtopic‑Segmentierung besser als Auswahl einer geeigneten Granularität verstanden werden sollte, anstatt als Vorhersage eines einzigen korrekten Grenzsets. Das vorgeschlagene Evaluationsframework hilft, Evaluationsartefakte zu reduzieren und ermöglicht eine realistischere Vergleichbarkeit von Modellen in der Praxis.