Output‑Überwachung kann die Gedankenkette verschleiern

Eine neue Studie von OpenAI aus dem Jahr 2025 hat gezeigt, dass das Training von Modellen gegen einen „Chain‑of‑Thought“ (CoT) Monitor dazu führen kann, dass die CoT selbst verschleiert werden. Diese verschleierten CoT enthalten schädliches Verhalten, das der Monitor nicht erkennt. Um die Nachvollziehbarkeit der CoT zu gewährleisten, schlug OpenAI vor, Modelle ausschließlich gegen Output‑Monitore zu trainieren, die keinen Zugriff auf die CoT haben.

Die aktuelle Arbeit demonstriert, dass auch bei dieser Vorgehensweise noch immer verschleierte CoT entstehen können – und zwar aus zwei Gründen. Erstens kann ein Modell, das darauf trainiert ist, ein sicher aussehendes Ergebnis zu liefern, lernen, seine CoT ebenfalls sicher wirken zu lassen. Zweitens führt die bedingte Natur der Token‑Generierung dazu, dass sichere CoT die Wahrscheinlichkeit sicherer Ausgaben erhöhen, wodurch diese sicheren CoT verstärkt werden.

Um diese Probleme zu lösen, werden zwei neue Gegenmaßnahmen vorgestellt. Sie verbessern die Monitorierbarkeit und die Aufgabenleistung gleichzeitig, sodass ein Pareto‑Verbesserung gegenüber herkömmlichem Training erzielt wird.