LLM-Tester im Zahlungsverkehr: Neues Framework enthüllt Bias und Zuverlässigkeit

Eine aktuelle Veröffentlichung auf arXiv präsentiert ein strukturiertes Multi‑Evaluator‑Framework, das die Leistungsfähigkeit von Large Language Models (LLMs) bei der Bewertung von Händler‑Risiken anhand von Merchant Category Codes (MCC) systematisch untersucht. Das Ziel ist es, die bislang wenig verstandene Zuverlässigkeit und Verzerrung dieser Modelle in Zahlungsszenarien transparent zu machen.

Das Framework kombiniert ein fünf‑Kriterien‑Rubrik mit Monte‑Carlo‑Scoring, um die Qualität der von LLMs generierten Risikobewertungen zu messen und die Stabilität der Evaluatoren zu prüfen. Fünf führende LLM‑Modelle – GPT‑5.1, Claude 4.5 Sonnet, Gemini‑2.5 Pro, Grok 4 und ein weiteres Modell – erzeugen und bewerten einander rationale Einschätzungen unter Bedingungen mit und ohne Identitätsangaben. Zur Schaffung einer unabhängigen Referenz wird ein Konsens‑Abweichungs‑Metrik eingeführt, die die Bewertung jedes Modells mit dem Durchschnitt aller anderen Modelle vergleicht und so eine theoretisch fundierte Messung von Selbst‑ und Quervergleichs‑Bias liefert.

Die Ergebnisse zeigen eine deutliche Heterogenität: GPT‑5.1 und Claude 4.5 Sonnet weisen einen negativen Selbst‑Bewertungs‑Bias von –0,33 bzw. –0,31 auf, während Gemini‑2.5 Pro und Grok 4 positive Bias‑Werte von +0,77 bzw. +0,71 aufweisen. Die Anonymisierung reduziert diese Verzerrungen um 25,8 %. Eine Bewertung durch 26 Experten aus der Zahlungsbranche ergab, dass die LLM‑Bewertungen im Durchschnitt 0,46 Punkte über der menschlichen Konsens‑Bewertung liegen, wobei der negative Bias der beiden Modelle auf eine engere Übereinstimmung mit menschlichen Urteilen hinweist. Die Validierung mit realen Zahlungsnetzwerk‑Daten zeigte, dass vier Modelle eine statistisch signifikante Korrelation (Spearman‑rho = 0,56 bis 0,77) mit den tatsächlichen Risikobewertungen aufweisen, was die Aussagekraft des Frameworks bestätigt.

Dieses neue, replizierbare Verfahren liefert eine solide Basis, um die Qualität von LLM‑Evaluatoren im Zahlungsverkehr zu beurteilen. Für die Branche bedeutet das, dass Entscheidungsträger künftig besser informierte, bias‑reduzierte Risikobewertungen erhalten und die Integration von KI‑Modellen in ihre Prozesse sicherer gestalten können.