CoT-Analyse enthüllt: Aktive Anleitung vs. unzuverlässige Nachträglichkeit

Eine neue Studie auf arXiv untersucht, wie sich die „Chain-of-Thought“-Technik (CoT) bei weichen Denkaufgaben verhält. Frühere Untersuchungen haben gezeigt, dass CoT bei analytischen und Alltags‑Rationalisierungsaufgaben nur begrenzte Vorteile bietet und manchmal die eigentliche Denkweise des Modells verzerrt. In der aktuellen Arbeit werden die Dynamik und die Vertrauenswürdigkeit von CoT in drei Modellkategorien – instruction‑tuned, reasoning‑tuned und reasoning‑distilled – systematisch analysiert.

Die Ergebnisse zeigen, dass die Modelle unterschiedlich stark auf CoT angewiesen sind. Dabei ist die Wirkung von CoT nicht immer mit seiner Treue zur eigentlichen Modelllogik übereinstimmend. Das bedeutet, dass ein Modell zwar eine ausführliche CoT‑Antwort generiert, diese aber nicht notwendigerweise die tatsächliche interne Rechenweise widerspiegelt. Diese Erkenntnisse legen nahe, dass bei der Entwicklung von KI‑Systemen für komplexe Denkaufgaben sowohl die Effektivität als auch die Glaubwürdigkeit von CoT sorgfältig abgewogen werden müssen.