InsightEval: Benchmark für LLM-gesteuerte Datenagenten

Die Analyse großer Datensätze ist heute ein unverzichtbarer Bestandteil wissenschaftlicher Forschung. Um das verborgene Wissen und die damit verbundenen Erkenntnisse vollständig zu nutzen, ist eine tiefgehende explorative Analyse erforderlich. Mit dem Aufkommen großer Sprachmodelle (LLMs) und Multi-Agenten-Systemen greifen immer mehr Forscher auf diese Technologien zurück, um neue Einsichten zu entdecken.

Allerdings fehlt es bislang an geeigneten Benchmarks, die die Fähigkeit von Agenten zur Erkenntnisfindung systematisch bewerten. Der bisher umfassendste Rahmen, InsightBench, weist erhebliche Schwächen auf: inkonsistente Formate, schlecht formulierte Ziele und redundante Erkenntnisse können die Qualität der Daten und die Bewertung der Agenten stark beeinträchtigen.

Um diese Probleme zu beheben, haben die Autoren die Mängel von InsightBench eingehend analysiert und klare Kriterien für einen hochwertigen Benchmark definiert. Darauf aufbauend wurde ein datenkurativer Pipeline entwickelt, mit dem das neue Datenset InsightEval erstellt wurde. Zusätzlich wird ein innovatives Metriksystem vorgestellt, das die explorative Leistung von Agenten präzise misst.

Durch umfangreiche Experimente auf InsightEval konnten die Forscher die aktuellen Herausforderungen der automatisierten Erkenntnisfindung aufzeigen und wichtige Erkenntnisse liefern, die die zukünftige Forschung in diesem vielversprechenden Bereich leiten sollen.