Training‑Incentives beeinflussen die Überwachbarkeit von Chain‑of‑Thought

Ein neues arXiv‑Veröffentlichung beleuchtet, wie unterschiedliche Trainingsanreize die Fähigkeit von KI‑Systemen beeinflussen, ihre Gedankenketten (Chain‑of‑Thought, CoT) zuverlässig zu überwachen. Durch die Ausgabe von natürlicher Sprache können solche Systeme potenziell gefährliche Überlegungen erkannt und verhindert werden – vorausgesetzt, die CoT spiegelt tatsächlich den zugrunde liegenden Denkprozess wider.

Die Autoren stellen eine innovative Methode vor, um die Überwachbarkeit zu messen: Ein Monitor versucht, ein entscheidendes latentes Merkmal anhand der vom Modell erzeugten CoT vorherzusagen. Unter Kontrolle der Genauigkeit zeigen die Ergebnisse, dass gängige Anreize wie Längen­penalitäten und KL‑Regulierung keine konsistenten Effekte auf die Überwachbarkeit haben.

Interessanterweise führt eine adversarielle Optimierung, bei der die Genauigkeit des Monitors gezielt reduziert wird, zu einer Verschlechterung der Überwachbarkeit. Im Gegensatz dazu liefert eine direkte Optimierung auf die Überwachbarkeit keine verlässlichen Verbesserungen. Der zugehörige Code ist auf GitHub verfügbar.