BizFinBench.v2: Neuer zweistufiger, zweisprachiger Benchmark für Finanz-LLMs

Die rasante Weiterentwicklung großer Sprachmodelle hat sie zu einem Schlüsselwerkzeug für die Finanzwelt gemacht. Doch bisherige Benchmarks starren oft an simulierte Daten oder statische Szenarien, wodurch sie die Anforderungen an Authentizität und Echtzeit‑Reaktionsfähigkeit in echten Finanzdienstleistungen nicht erfüllen.

Mit BizFinBench.v2 wird das geändert. Der neue Benchmark basiert auf echten Geschäftsdaten aus den chinesischen und US-amerikanischen Aktienmärkten und integriert eine Online‑Bewertung. Durch die Cluster‑Analyse echter Nutzeranfragen aus Finanzplattformen wurden acht grundlegende Aufgaben und zwei Online‑Aufgaben in vier Kern‑Geschäftsszenarien definiert – insgesamt 29.578 Experten‑Level‑Frage‑Antwort‑Paare.

Die Ergebnisse zeigen, dass ChatGPT‑5 bei den Hauptaufgaben eine bemerkenswerte Genauigkeit von 61,5 % erreicht, jedoch noch einen deutlichen Abstand zu menschlichen Finanzexperten aufweist. In den Online‑Aufgaben übertrifft DeepSeek‑R1 sämtliche anderen kommerziellen LLMs. Eine detaillierte Fehleranalyse hebt die spezifischen Schwächen der Modelle in realen Finanzkontexten hervor.

BizFinBench.v2 überwindet die Beschränkungen bisheriger Benchmarks, zerlegt die finanziellen Fähigkeiten von LLMs auf Unternehmensniveau und liefert eine präzise Grundlage, um die Wirksamkeit von LLMs in großflächigen Deployments zu bewerten.