KalshiBench: LLMs zeigen systematisches Übervertrauen bei Vorhersagen

Ein neues Benchmark namens KalshiBench wurde vorgestellt, das die epistemische Kalibrierung großer Sprachmodelle (LLMs) anhand von 300 echten Vorhersagefragen aus dem Kalshi‑Markt testet. Kalshi ist eine von der CFTC regulierte Börse, deren Ergebnisse nach dem Trainingszeitpunkt der Modelle verifiziert werden können, sodass die Modelle wirklich mit unbekannten zukünftigen Ereignissen konfrontiert werden.

Fünf der führenden LLMs – Claude Opus 4.5, GPT‑5.2, DeepSeek‑V3.2, Qwen3‑235B und Kimi‑K2 – wurden auf diesem Benchmark evaluiert. Alle Modelle zeigten ein systematisches Übervertrauen: Selbst das am besten kalibrierte Modell, Claude Opus 4.5, erreichte einen ECE‑Wert von 0,120, während ein reasoning‑gestütztes Modell, GPT‑5.2‑XHigh, mit 0,395 sogar schlechter abschneidet. Nur ein Modell erzielte einen positiven Brier‑Skill‑Score, was bedeutet, dass die meisten Modelle schlechter abschneiden als das reine Vorhersagen der Grundrate.

Die Ergebnisse verdeutlichen, dass weder die Skalierung noch die verbesserte Argumentationsfähigkeit automatisch zu einer besseren Kalibrierung führen. Epistemische Kalibrierung bleibt damit eine eigenständige Herausforderung, die gezielte Forschung und Entwicklung erfordert.