Finch: KI-Benchmark für Finanz- und Rechnungs-Workflows in Unternehmen

Ein neues Benchmarking-Tool namens Finch wurde vorgestellt, das KI-Agenten in realen, unternehmensweiten Finanz- und Rechnungsprozessen testet. Die Daten stammen aus authentischen Arbeitsbereichen, darunter 15.000 Tabellenkalkulationen und 500.000 E-Mails von 150 Mitarbeitern bei Enron sowie weiteren Finanzinstituten. Dadurch bleibt die natürliche Unordnung und Vielfalt von Text, Tabellen, Formeln, Diagrammen, Code und Bildern erhalten.

Der Aufbau der Workflows kombiniert LLM‑unterstützte Entdeckung mit fachlicher Überprüfung. Zunächst werden aus echten E‑Mail‑Threads und Versionsverläufen von Tabellenkalkulationen mithilfe von Sprachmodellen Workflows abgeleitet, die anschließend von Experten verifiziert werden. Anschließend erfolgt eine sorgfältige Annotation, die über 700 Stunden an Domänenexpertise erfordert. Das Ergebnis sind 172 zusammengesetzte Workflows mit 384 Aufgaben, die 1.710 Tabellenkalkulationen mit insgesamt 27 Millionen Zellen sowie PDFs und weitere Artefakte umfassen.

Finch spiegelt die komplexe, langanhaltende und kollaborative Natur echter Unternehmensarbeit wider. In Tests wurden führende KI‑Systeme wie GPT 5.1 Pro, Claude Sonnet 4.5, Gemini 3 Pro, Grok 4 und Qwen 3 Max evaluiert. GPT 5.1 Pro benötigte 48 Stunden, um die Aufgaben zu bearbeiten, und absolvierte lediglich 38,4 % der Workflows. Claude Sonnet 4.5 erreichte nur 25,0 % Erfolgsquote. Diese Ergebnisse zeigen, wie herausfordernd die realen Finanz‑ und Rechnungsaufgaben für aktuelle KI‑Modelle sind.