Neues Benchmark Conv‑FinRe prüft Finanzempfehlungen jenseits von Nutzerverhalten

In der Welt der Finanzberatung misst die Qualität von Empfehlungen nicht nur, wie gut ein Modell das Verhalten von Nutzern nachahmt, sondern auch, ob die getroffenen Entscheidungen langfristig sinnvoll sind. Das neue Benchmark‑Set Conv‑FinRe adressiert genau dieses Problem. Es kombiniert ein Onboarding‑Interview, schrittweise Marktinformationen und echte Beratungsgespräche, um große Sprachmodelle (LLMs) dazu zu bringen, Aktienrankings für einen festgelegten Anlagezeitraum zu erstellen.

Ein besonderes Merkmal von Conv‑FinRe ist die Bereitstellung mehrerer Referenzansichten. Diese unterscheiden zwischen rein beschreibendem Verhalten und normativem Nutzen, der auf individuellen Risikopräferenzen basiert. Dadurch lässt sich genau diagnostizieren, ob ein Modell auf rationaler Analyse beruht, Nutzer‑Rauschen imitiert oder von kurzfristigem Markt‑Momentum getrieben wird.

Der Datensatz wurde aus realen Marktbewegungen und menschlichen Entscheidungswegen zusammengestellt. Durch kontrollierte, simulierte Beratungssitzungen konnten die Autoren die Qualität der Empfehlungen systematisch prüfen. Die Evaluation umfasste eine Reihe der führenden LLM‑Modelle.

Die Ergebnisse zeigen eine anhaltende Spannung zwischen rationaler Entscheidungsqualität und Verhaltensanpassung: Modelle, die bei nutzerzentrierten Rankings gut abschneiden, passen sich häufig nicht den tatsächlichen Nutzerentscheidungen an, während Modelle, die stark auf Nutzerverhalten ausgerichtet sind, oft kurzfristiges Rauschen überbetonen.

Conv‑FinRe ist öffentlich auf Hugging Face verfügbar, und der zugehörige Code steht auf GitHub zur Verfügung, sodass Forscher und Entwickler die Benchmark leicht nutzen und erweitern können.