LLMs rational? Messung der Glaubenskohärenz in probabilistischen Entscheidungen

In einer aktuellen Studie von Forschern, die ihre Ergebnisse auf arXiv veröffentlicht haben, wird untersucht, ob große Sprachmodelle (LLMs) wirklich rationale Nutzenmaximierer sind. Dabei steht die Frage im Fokus, ob die von den Modellen angegebenen Wahrscheinlichkeiten tatsächlich ihre inneren Überzeugungen widerspiegeln und ob ihre Entscheidungen konsistent mit einer idealen bayesschen Nutzenmaximierung sind.

Die Autoren haben dafür ein Verfahren entwickelt, das falsifizierbare Bedingungen liefert: Wenn die berichteten Wahrscheinlichkeiten nicht mit den tatsächlichen Überzeugungen eines rationalen Agenten übereinstimmen, kann das Modell nicht als rational betrachtet werden. Diese Methode wurde auf mehrere medizinische Diagnoseaufgaben angewandt, wobei verschiedene LLMs evaluiert wurden.

Die Ergebnisse zeigen, dass die Beziehung zwischen den Inferenzschritten der Modelle und der optimalen bayesschen Entscheidungsfindung komplex ist. Einige Modelle liefern konsistente Wahrscheinlichkeiten, während andere signifikante Abweichungen aufweisen. Diese Erkenntnisse haben wichtige Implikationen für den Einsatz von LLMs in hochriskanten Entscheidungsprozessen, etwa in der Medizin, und legen den Grundstein für weitere Untersuchungen zur Verbesserung ihrer Entscheidungslogik.