Neues Benchmark und Framework steigern KI‑Genauigkeit in Finanzberechnungen
Große Sprachmodelle (LLMs) haben sich als Meister der semantischen Analyse etabliert, doch bei der finanziellen Quantifizierung stoßen sie häufig an ihre Grenzen. Häufig treten sogenannte „arithmetische Halluzinationen“ auf, und ein systematischer Versagenstyp, den die Autoren als „kognitiver Kollaps“ bezeichnen, führt zu schwerwiegenden Fehlern in komplexen Rechenaufgaben.
Um dieses Phänomen präzise zu erfassen, wurde das Cognitive Complexity Benchmark (CCB) entwickelt. Das Benchmark‑Set basiert auf 95 realen Jahresberichten chinesischer A‑Shares und klassifiziert Finanzfragen nach drei Dimensionen: Datenquelle, Zuordnungsschwierigkeit und Ergebniseinheit. Durch diese dreidimensionale Taxonomie lassen sich Schwachstellen in der Argumentationskette gezielt identifizieren und analysieren.
Zur Behebung dieser Schwächen präsentiert das Team das Iteratives Dual-Phasen-Finanz-PO-T-Framework. Dabei wird die semantische Extraktion von Variablen und die Logikformulierung strikt voneinander getrennt. Anschließend erfolgt die eigentliche Berechnung in einem iterativen, selbstkorrigierenden Python‑Sandbox, das deterministische Ergebnisse garantiert. Diese neuro‑symbolische Architektur sorgt für klare Trennung von Aufgaben und verhindert, dass Fehler in einer Phase die gesamte Berechnung beeinträchtigen.
Die Evaluation auf dem CCB zeigt eindrucksvolle Verbesserungen: Das Modell Qwen3‑235B erreicht eine durchschnittliche Genauigkeit von 67,3 % – ein Anstieg von 59,7 % – und erzielt in hochkomplexen Aufgaben bis zu zehnmal höhere Leistungen. Diese Ergebnisse unterstreichen, dass architektonische Trennung ein entscheidender Faktor für die Zuverlässigkeit in der finanziellen Entscheidungsfindung ist und auch in anderen präzisionskritischen Bereichen anwendbar sein kann.