ReportBench: Benchmark Deep Research Agents – Qualität von Forschungsberichten

Mit der Einführung von Deep Research Agents hat sich die Zeit für umfangreiche Forschungsaufgaben drastisch verkürzt. Doch diese Tools müssen strenge Anforderungen an Faktengenauigkeit und Vollständigkeit erfüllen, bevor sie breit eingesetzt werden können. Das neue Benchmark-System ReportBench wurde deshalb entwickelt, um die Qualität der von großen Sprachmodellen (LLMs) generierten Forschungsberichte systematisch zu prüfen.

ReportBench bewertet zwei zentrale Aspekte: Erstens die Qualität und Relevanz der zitierten Literatur, und zweitens die Treue und Wahrhaftigkeit der im Bericht enthaltenen Aussagen. Dafür nutzt das Benchmark hochqualitative, bereits veröffentlichte Survey‑Papers aus dem arXiv‑Repository als Goldstandard. Aus diesen Arbeiten werden domänenspezifische Prompts abgeleitet, die ein umfassendes Evaluationskorpus bilden.

Ein automatisiertes, agentenbasiertes Framework analysiert die generierten Berichte, extrahiert Zitate und Aussagen, prüft die Treue der zitierten Inhalte gegenüber den Originalquellen und validiert nicht zitierte Behauptungen mithilfe webbasierter Ressourcen. Die ersten Tests zeigen, dass kommerzielle Deep Research Agents von OpenAI und Google deutlich umfassendere und verlässlichere Berichte liefern als reine LLMs, die mit Such- oder Browsing‑Tools ergänzt wurden. Dennoch besteht noch erheblicher Verbesserungsbedarf hinsichtlich der Breite und Tiefe der Forschungsabdeckung sowie der faktischen Konsistenz.