Neues Bewertungsframework DREAM verbessert Bewertung von Deep Research Agents

Deep‑Research‑Agents können mittlerweile Berichte auf Analysten‑Niveau erstellen, doch ihre Bewertung bleibt schwierig, weil es keine eindeutige „Goldstandard“-Antwort gibt und die Qualität aus vielen Dimensionen besteht.

Aktuelle Benchmarks stoßen dabei an ihre Grenzen: Sie neigen dazu, die „Mirage of Synthesis“ zu erzeugen, bei der eine starke sprachliche Fließfähigkeit und die Übereinstimmung mit Zitaten die eigentlichen Fakten- und Logikfehler verschleiern.

Die Autoren zeigen, dass statische Evaluatoren nicht über die nötigen Werkzeugfähigkeiten verfügen, um zeitliche Gültigkeit und faktische Richtigkeit zu prüfen. Durch eine neue Taxonomie in vier Bereichen wird dieser Fähigkeitsmismatch deutlich.

Darauf aufbauend stellen sie DREAM (Deep Research Evaluation with Agentic Metrics) vor – ein Framework, das die Bewertung selbst agentisch macht. Es kombiniert query‑agnostische Metriken mit adaptiven Kennzahlen, die von einem Tool‑Calling‑Agent generiert werden. So werden zeitlich relevante Abdeckung, fundierte Verifikation und systematische Logikprüfungen ermöglicht.

Kontrollierte Tests zeigen, dass DREAM deutlich empfindlicher auf Fakten‑ und Zeit‑Verfall reagiert als bestehende Benchmarks. Das Ergebnis ist ein skalierbares, referenzfreies Evaluationsparadigma, das die Qualität von Deep‑Research‑Agents realistisch und umfassend misst.