FinTrace: Benchmark für LLM-Tool-Calls in Finanz – 800 Trajektorien, 34 Kategorien

FinTrace, ein neues Benchmark, richtet sich an die Bewertung von Large Language Models (LLMs) beim Tool‑Calling in komplexen Finanzaufgaben. Das Set umfasst 800 von Experten annotierte Trajektorien, die 34 reale Finanzaufgabenkategorien abdecken und unterschiedliche Schwierigkeitsgrade berücksichtigen.

Der Evaluationsrahmen von FinTrace nutzt neun Metriken, die in vier Achsen gruppiert sind: Aktionserfüllung, Ausführungs­effizienz, Prozessqualität und Ausgabequalität. Mit diesem Ansatz lassen sich die qualitativen Aspekte der LLM‑Interaktion detailliert messen. Bei der Analyse von 13 Modellen zeigte sich, dass die führenden Modelle zwar die richtigen Tools auswählen, jedoch bei der Nutzung der gewonnenen Informationen und der Endantwortqualität deutlich hinter den Erwartungen zurückbleiben.

Zur Förderung von Verbesserungen wurde FinTrace-Training erstellt – die erste Trajektorien‑Level‑Präferenzdatenbank für Finanz‑Tool‑Calling. Sie enthält 8.196 sorgfältig kuratierte Trajektorien mit tool‑augmentierten Kontexten und Präferenzpaaren. Durch supervised fine‑tuning und anschließend Direct Preference Optimization (DPO) wurde Qwen‑3.5‑9B trainiert, was zu einer signifikanten Steigerung der Zwischenergebnis‑Metriken führte. DPO zeigte zudem eine effektivere Unterdrückung von Fehlermustern.

FinTrace verdeutlicht damit einen entscheidenden Gap zwischen der Fähigkeit, passende Tools zu wählen, und der Fähigkeit, deren Ausgaben sinnvoll zu nutzen. Das Benchmark‑Set und die zugehörige Trainingsdatenbank bieten Forschern und Entwicklern ein robustes Werkzeug, um die nächste Generation von LLMs für anspruchsvolle Finanzanwendungen zu formen.