DeepFact: Dynamische Benchmarks & Agenten für Faktenprüfung in Forschung

DeepFact, die neue Initiative von Forschern, kombiniert dynamische Benchmarks mit leistungsstarken Agenten, um die Faktenprüfung in tiefgreifenden Forschungsberichten (DRRs) zu revolutionieren.

Während herkömmliche Fact‑Check‑Tools für atomare, factoid‑artige Behauptungen entwickelt wurden, fehlt bislang ein geeignetes Testverfahren für die komplexen, mehrschichtigen Aussagen, die in DRRs entstehen. DeepFact adressiert dieses Problem, indem es ein iteratives Benchmarking‑Modell namens Audit‑then‑Score (AtS) einführt.

In einer kontrollierten Studie erreichten unassisted Experten lediglich 60,8 % Genauigkeit bei der Bewertung einer versteckten Gold‑Sammlung. Durch vier Runden des AtS‑Prozesses – bei denen Unstimmigkeiten durch Evidenznachweise und unabhängige Audits geklärt werden – stieg die Genauigkeit auf 90,9 %. Das Ergebnis zeigt, dass Experten als Auditoren deutlich zuverlässiger sind als einmalige Labeler.

Die praktische Umsetzung liefert DeepFact‑Bench, ein versioniertes Benchmark‑Set mit auditierten Begründungen, und DeepFact‑Eval, einen dokumenten‑basierten Verifikationsagenten. Letzterer übertrifft bestehende Verifikatoren auf DeepFact‑Bench und demonstriert eine gute Transferfähigkeit zu externen Factuality‑Datensätzen.

DeepFact stellt damit einen bedeutenden Fortschritt dar: Es schafft ein robustes, sich weiterentwickelndes Ökosystem, das die Qualität und Vertrauenswürdigkeit von KI‑generierten Forschungsberichten nachhaltig verbessert.