Martingale-Score: Maß für bayessche Rationalität in LLM‑Schlussfolgerungen

Die jüngsten Fortschritte bei großen Sprachmodellen (LLMs) haben die Erwartungen an ihre Fähigkeit, präzise und verlässliche Informationen zu liefern, stark erhöht. Gleichzeitig zeigen neue Untersuchungen, dass iterative Denkprozesse bei diesen Modellen eher zu einer Festigung von Überzeugungen und zu Bestätigungsfehlern führen können, anstatt die Suche nach Wahrheit zu fördern.

Um dieses Phänomen systematisch zu untersuchen, wurde ein neues Evaluationsframework entwickelt, das die Martingale-Eigenschaft aus der bayesschen Statistik nutzt. Diese Eigenschaft besagt, dass bei rationaler Glaubensaktualisierung der erwartete zukünftige Glaube gleich dem aktuellen Glaube bleibt – also keine Vorhersagbarkeit aus dem aktuellen Stand besteht.

Das Ergebnis ist der Martingale‑Score, ein unüberwachtes, regressionsbasiertes Maß, das Verstöße gegen diese Eigenschaft erfasst. Ein solcher Verstoß signalisiert, dass das Modell nicht korrekt auf neue Evidenz reagiert, sondern seine bisherigen Überzeugungen beibehält.

In einer Vielzahl von offenen Problemfeldern – von Ereignisprognosen über wertorientierte Fragen bis hin zur Bewertung wissenschaftlicher Arbeiten – zeigte die Analyse, dass solche Verstöße weit verbreitet sind. Modelle, bestimmte Denkstrategien und bestimmte Domänen weisen dabei besonders starkes „Glaubensfesthalten“ auf. Der Martingale‑Score korreliert zudem zuverlässig mit der tatsächlichen Genauigkeit der Modelle, wenn Ground‑Truth‑Labels vorliegen, was seine Aussagekraft als Qualitätsindikator unterstreicht.

Diese Erkenntnisse legen nahe, dass die Martingale‑Score‑Metrik ein wertvolles Werkzeug für die Bewertung und Optimierung von LLM‑Schlussfolgerungen darstellt und einen wichtigen Schritt zur Förderung von bayesscher Rationalität in KI‑Systemen markiert.