DataCross: Benchmark & Agenten-Framework für heterogene Datenanalyse

In der Praxis sind wichtige Informationen häufig in unterschiedlichen Formaten verstreut – strukturierte Quellen wie SQL‑Tabellen oder CSV‑Dateien stehen einerseits im Vordergrund, während wertvolle Daten in unstrukturierten visuellen Dokumenten wie gescannten Berichten oder Rechnungsbildern verborgen bleiben. Aktuelle Analysewerkzeuge greifen meist nur auf die strukturierten Daten zu und vernachlässigen dadurch einen erheblichen Teil des verfügbaren Wissens.

Um diese Lücke zu schließen, stellt das neue Projekt DataCross einen einheitlichen Benchmark sowie ein kollaboratives Agenten‑Framework vor. Der Benchmark, DataCrossBench, umfasst 200 praxisnahe Analyseaufgaben aus Bereichen wie Finanzen, Gesundheitswesen und weiteren Industrien. Durch einen „Mensch‑in‑der‑Schleife“-Reverse‑Synthese‑Ansatz wurden die Aufgaben so gestaltet, dass sie realistische Komplexität, Quellabhängigkeiten und überprüfbare Richtwertdaten enthalten.

Die Aufgaben werden in drei Schwierigkeitsstufen unterteilt, die die Fähigkeiten von Analyseagenten in Bereichen wie visueller Tabellenerkennung, quellenübergreifender Ausrichtung und mehrstufiger gemeinsamer Logik prüfen. Das zugehörige Agenten‑Framework, DataCrossAgent, orientiert sich an der „Divide‑and‑Conquer“-Strategie menschlicher Analysten. Es setzt spezialisierte Sub‑Agenten ein, die jeweils ein bestimmtes Datenformat beherrschen, und koordiniert sie über einen strukturierten Workflow aus Intra‑Quellen‑Tiefen‑Exploration, Schlüsselquellen‑Identifikation und Kontextuelle Kreuz‑Pollination.

Ein neu entwickelter reReAct‑Mechanismus ermöglicht robuste Code‑Generierung und Fehlerbehebung, um Faktenverifikation sicherzustellen. Erste Experimente zeigen, dass DataCrossAgent die Leistungsfähigkeit von Analyseagenten signifikant steigert und damit einen wichtigen Schritt in Richtung ganzheitlicher, multimodaler Datenanalyse darstellt.