LLM-Ausgabeabweichungen in Finanzprozessen: Validierung & Gegenmaßnahmen

Finanzinstitute setzen Large Language Models (LLMs) zunehmend für Abstimmungen, regulatorische Berichte und Kundenkommunikation ein. Doch die nicht deterministische Natur dieser Modelle – bekannt als Output Drift – gefährdet die Nachvollziehbarkeit und das Vertrauen in automatisierte Prozesse. Eine aktuelle Studie (arXiv:2511.07585v1) untersucht diesen Effekt systematisch und liefert konkrete Lösungen für die Praxis.

Die Untersuchung testete fünf Modelle unterschiedlicher Größe – von 7 B bis 120 B Parametern – bei drei regulierten Finanzaufgaben: Retrieval‑Augmented Generation (RAG), JSON‑Ausgabe und SQL‑Abfragen. Bei einer strikten Greedy‑Decoding‑Einstellung (T = 0,0) erzielten die kleineren Modelle (Granite‑3‑8B, Qwen2.5‑7B) eine 100 %ige Konsistenz, während das 120‑B‑Modell GPT‑OSS nur 12,5 % (95 % KI: 3,5‑36,0 %) erreichte. Der Unterschied ist statistisch signifikant (p < 0,0001).

Die Autoren stellen ein finance‑kalibriertes, deterministisches Test‑Harness vor, das feste Seeds, Greedy‑Decoding und eine strukturierte Abruf‑Reihenfolge nach SEC‑10‑K‑Dokumenten nutzt. Zusätzlich werden task‑spezifische Invarianzprüfungen (für RAG, JSON und SQL) mit materialitätsbasierten Schwellenwerten von ±5 % sowie SEC‑Zitationsvalidierung implementiert. Auf Basis dieser Tests wird ein dreistufiges Klassifikationssystem entwickelt, das die Risikoeinstufung von Modellen erleichtert und gezielte Einsatzentscheidungen ermöglicht.

Die Ergebnisse zeigen, dass strukturierte Aufgaben wie SQL‑Abfragen auch bei moderater Temperatur (T = 0,2) stabil bleiben, während RAG‑Aufgaben empfindlich auf Drift reagieren (25‑75 % Drift). Durch die Kombination von Cross‑Provider‑Validierung und audit‑ready Attestationssystemen können Unternehmen nun nachvollziehbare, vertrauenswürdige LLM‑Deployments realisieren, die regulatorischen Anforderungen entsprechen.