Neues Benchmark DEEPSYNTH prüft LLM-Agenten bei komplexer Informationssynthese

In der Welt der großen Sprachmodelle (LLM) gewinnen Agenten, die Werkzeuge wie Webbrowser, Code-Interpreter und Datenanalyse-Tools einsetzen, immer mehr an Bedeutung. Doch die bestehenden Testplattformen messen ihre Fähigkeiten nicht ausreichend, wenn es darum geht, echte Aufgaben zu lösen, die das Zusammenführen von Informationen aus mehreren Quellen und das Ziehen tieferer Schlüsse erfordern.

Um diesem Bedarf gerecht zu werden, wurde DEEPSYNTH entwickelt – ein neues Benchmark, das Agenten auf realistische, zeitintensive Probleme prüft, die Informationsbeschaffung, Synthese und strukturiertes Denken kombinieren. Das Set umfasst 120 Aufgaben aus sieben Fachbereichen und nutzt Daten aus 67 Ländern.

Die Erstellung von DEEPSYNTH folgt einem mehrstufigen Prozess: Annotatoren sammeln offizielle Quellen, formulieren Hypothesen, führen manuelle Analysen durch und entwerfen Aufgaben mit überprüfbaren Antworten. Dieser Ansatz stellt sicher, dass die Aufgaben sowohl anspruchsvoll als auch valide sind.

Bei der Bewertung von 11 führenden LLMs und Forschungsagenten erreichten die besten Modelle einen F1-Score von 8,97 und 17,5 Punkte nach dem LLM-Judge-Metrik. Diese Ergebnisse verdeutlichen die hohe Schwierigkeit des Benchmarks und zeigen, dass aktuelle Agenten noch mit Halluzinationen und der Verarbeitung großer Informationsräume kämpfen.

DEEPSYNTH bietet damit einen wichtigen Maßstab, um die Entwicklung von Agenten zu steuern und ihre Fähigkeit zur echten Informationssynthese zu verbessern.