DecMetrics: Neue Metriken für die Bewertung von Claim‑Decomposition in LLMs

In der Welt der automatischen Faktenprüfung gewinnt die Zerlegung komplexer Behauptungen in einzelne, prüfbare Bestandteile immer mehr an Bedeutung. Doch während die meisten Studien sich auf die Generierung dieser Zerlegungen konzentrieren, fehlt bislang ein systematisches Verfahren, um die Qualität der daraus resultierenden atomaren Aussagen zu bewerten.

Mit dem neuen Ansatz DecMetrics wird dieses Problem angegangen. Das System definiert drei innovative Kennzahlen – COMPLETENESS, CORRECTNESS und SEMANTIC ENTROPY – die automatisch die Vollständigkeit, Richtigkeit und semantische Klarheit von dekomponierten Claims messen. Diese Metriken ermöglichen es, die Leistung von Decomposition-Modellen objektiv zu vergleichen und zu verbessern.

Durch die Integration der Metriken als Belohnungsfunktion in ein leichtgewichtiges Modell konnte die Autoren die Effizienz der Claim‑Decomposition deutlich steigern. Die automatisierte Bewertung liefert ein neues Benchmark-Set, das die Zuverlässigkeit und Effektivität von Faktenprüfungs‑Systemen nachhaltig erhöhen soll.