KI-Modelle können ihre Gedankenketten kaum kontrollieren – neue Studie enthüllt

Eine neue Untersuchung aus dem arXiv-Repository (2603.05706v1) zeigt, dass moderne KI‑Modelle ihre „Chain‑of‑Thought“ (CoT) – also die Zwischenschritte, die sie bei der Problemlösung ausführen – nur sehr selten kontrollieren können. Das Forschungsteam hat dafür ein spezielles Testpaket namens CoT‑Control entwickelt, das Modelle dazu bringt, Aufgaben zu lösen, während sie dabei bestimmte Anweisungen einhalten müssen, etwa ein genetisches Problem zu bearbeiten, ohne das Wort „Chromosom“ zu benutzen.

Die Ergebnisse sind eindeutig: Die CoT‑Kontrollrate liegt bei nur 2,7 % für das Modell Claude Sonnet 4.5, während die Kontrolle des Endergebnisses bei 61,9 % liegt. Größere Modelle zeigen tendenziell eine höhere Kontrollfähigkeit, doch sie sinkt, wenn sie mit Reinforcement‑Learning‑Training, mehr Rechenleistung bei der Ausführung oder schwierigeren Aufgaben konfrontiert werden.

Selbst wenn den Modellen Anreize gegeben werden, die CoT‑Monitore zu umgehen, bleibt die Kontrollfähigkeit niedrig. Interessanterweise steigt sie leicht, wenn das Modell darüber informiert wird, dass es überwacht wird. Versuche, die Kontrollfähigkeit durch gezielte, adversariale Prompt‑Optimierung zu erhöhen, haben ebenfalls keine signifikanten Verbesserungen gebracht.

Die Autoren bleiben vorsichtig optimistisch: Die geringe CoT‑Kontrollfähigkeit stellt derzeit keine unmittelbare Bedrohung für die Überwachbarkeit von Chain‑of‑Thought‑Modellen dar. Dennoch bleibt der Mechanismus, der zu dieser niedrigen Kontrolle führt, noch nicht vollständig verstanden, und weitere Forschung ist nötig, um die Sicherheit und Transparenz dieser Systeme zu gewährleisten.