AIDABench: Neuer Benchmark für KI-gestützte Datenanalyse

In einer Zeit, in der KI-gestützte Dokumentenverarbeitung immer mehr in der Praxis eingesetzt wird, hat ein neues Benchmark-System namens AIDABench die Aufmerksamkeit der Forschungsgemeinschaft auf sich gezogen. AIDABench bietet einen umfassenden Testrahmen, um KI-Modelle in realen, komplexen Datenanalyseaufgaben zu bewerten.

Der Benchmark umfasst mehr als 600 Aufgaben, die in drei zentrale Kompetenzbereiche unterteilt sind: Fragebeantwortung, Datenvisualisierung und Dateigenerierung. Die Aufgaben basieren auf authentischen Szenarien, die verschiedene Datentypen wie Tabellenkalkulationen, Datenbanken, Finanzberichte und betriebliche Aufzeichnungen einbeziehen. Dadurch spiegelt AIDABench die tatsächlichen analytischen Anforderungen in unterschiedlichen Branchen und Berufsrollen wider.

Ein bemerkenswertes Merkmal von AIDABench ist die hohe Schwierigkeitsstufe: Selbst erfahrene Fachleute benötigen mit Unterstützung von KI-Tools ein bis zwei Stunden, um eine einzelne Frage zu beantworten. Diese Komplexität unterstreicht die Relevanz des Benchmarks für die Bewertung von KI-Systemen in praxisnahen Umgebungen.

Bei der Evaluation wurden elf führende Modelle – sowohl proprietäre wie Claude Sonnet 4.5 und Gemini 3 Pro Preview als auch Open-Source-Modelle wie Qwen3-Max-2026-01-23-Thinking – getestet. Das bestperformende Modell erreichte lediglich 59,43 % Pass-at-1, was deutlich zeigt, dass die Analyse komplexer, realer Daten für aktuelle KI-Systeme nach wie vor eine große Herausforderung darstellt.

Die Ergebnisse von AIDABench liefern wertvolle Einblicke in die Stärken und Schwächen moderner KI-Modelle und legen nahe, dass weitere Fortschritte in der Datenanalyse notwendig sind, um den Anforderungen der Praxis gerecht zu werden.