Neues FIRE-Benchmark prüft Finanzwissen und Praxisfähigkeit von LLMs

Ein neues, umfassendes Benchmark namens FIRE wurde vorgestellt, das die finanzielle Intelligenz und das Problemlösungsvermögen von großen Sprachmodellen (LLMs) systematisch bewertet. Das Tool kombiniert theoretische Prüfungen mit praxisnahen Geschäftsszenarien, um die Tiefe des Finanzwissens und die Anwendbarkeit in realen Situationen zu messen.

Für die theoretische Bewertung wurden Fragen aus renommierten Finanzqualifikationsprüfungen zusammengestellt. Diese ermöglichen eine detaillierte Analyse, wie gut LLMs komplexe finanzielle Konzepte verstehen und anwenden können. Parallel dazu wurde eine strukturierte Evaluationsmatrix entwickelt, die komplexe Finanzbereiche und zentrale Geschäftsaktivitäten abdeckt.

Auf Basis dieser Matrix wurden 3.000 Szenario-Fragen erstellt. Diese umfassen geschlossene Entscheidungsfragen mit Referenzantworten sowie offene Fragen, die nach vordefinierten Rubriken bewertet werden. Durch diese Kombination wird sowohl die Genauigkeit als auch die kreative Problemlösungskompetenz der Modelle erfasst.

Die Autoren haben die Leistung führender LLMs, darunter XuanYuan 4.0 – ein speziell entwickeltes Finanzmodell – getestet. Die Ergebnisse liefern einen klaren Überblick über die aktuellen Grenzen und Stärken von LLMs im Finanzbereich und dienen als Grundlage für weitere Forschung.

Alle Benchmark-Fragen und das zugehörige Evaluationscode-Set werden öffentlich zugänglich gemacht, um die Weiterentwicklung und Vergleichbarkeit von Finanz-LLMs zu fördern.