Kausale Stärken & Überzeugungen: LLM‑Schlussfolgerungen mit Netzen

In einer wegweisenden Untersuchung wurden mehr als 20 große Sprachmodelle (LLMs) auf ihre Fähigkeit zur kausalen Schlussfolgerung geprüft – ein Thema, das seit langem als Schlüsselindikator für echte Intelligenz gilt. Durch die Kombination von „Direct“-Antworten und „Chain‑of‑Thought“ (CoT) Denkprozessen wurden 11 sorgfältig ausgewählte Aufgaben mit einem Kollisionsgraphen (C1 → E ← C2) konzipiert, um die Tiefe des Verständnisses zu messen.

Die Autoren modellierten die Antworten mit einem leaky noisy‑OR Bayesschen Netz, das die Wahrscheinlichkeit eines Ereignisses anhand von vier Parametern (b, m1, m2, p(C)) bestimmt. Durch den Vergleich von symmetrischen und asymmetrischen Varianten mittels Akaike‑Information‑Criterion (AIC) konnten sie die stärksten kausalen Signaturen identifizieren und die Unterschiede zwischen menschlicher und maschineller Logik herausfiltern.

Ergebnis: Die Analyse zeigt, dass LLMs zwar in vielen Fällen mit menschlichen Urteilen übereinstimmen, aber dennoch konsistente Unterschiede in der Art und Weise aufweisen, wie sie kausal denken. Diese Erkenntnisse liefern einen wichtigen Rahmen, um die Stärken und Schwächen von KI‑Systemen besser zu verstehen und zukünftige Modelle gezielter zu verbessern.