Neues Benchmark T3 prüft Vertrauen in KI‑Kausalität

Wissenschaftler haben das neue Benchmark‑Tool T3 (Testing Trustworthy Thinking) vorgestellt, das die Fähigkeit von Sprachmodellen, kausale Zusammenhänge zu erkennen, systematisch testet. T3 nutzt 454 sorgfältig kuratierte Kurzgeschichten, um die Leistung von Modellen entlang der verschiedenen Ebenen der kausalen Analyse nach Pearl zu messen.

Der Test zerlegt die Ergebnisse in drei Kernbereiche: Utility (Sensitivität), Safety (Spezifität) und Wise Refusal, das prüft, ob Modelle bei unklaren Fällen zurückhaltend bleiben. Durch diese Aufschlüsselung lassen sich Fehlerquellen präzise identifizieren und gezielt verbessern.

Bei der Anwendung auf aktuelle Spitzenmodelle traten zwei auffällige Phänomene auf. Auf der ersten Ebene der Kausalität (L1) zeigte sich ein „Skepticism Trap“, bei dem sicherheitsoptimierte Modelle wie Claude Haiku 60 % gültiger kausaler Verbindungen ablehnten. Auf der dritten Ebene (L3) offenbarte sich ein nicht‑monotones Skalierungsparadoxon: GPT‑5.2 erzielte bei mehrdeutigen Gegenfaktischen 55 Punkte schlechter als GPT‑4‑Turbo, weil das größere Modell zu stark zögerte und nicht zu Halluzinationen neigte.

Darüber hinaus nutzte das Team das Benchmark, um einen prozessverifizierten Protokollansatz namens RCA zu validieren. Die Ergebnisse zeigen, dass T3 die Wiederherstellung von entscheidungsfähiger kausaler Urteilsbildung unter strukturierten Verifikationsbedingungen zuverlässig erfasst.