Latent-CoT-Modelle: Schritt-für-Schritt-Rechnen im Verborgenen enthüllt

Neues Forschungsergebnis aus dem Bereich der künstlichen Intelligenz beleuchtet, wie Latent Chain-of-Thought (Latent-CoT)-Modelle tatsächlich Schritt-für-Schritt denken. Der Fokus liegt auf dem CODI-Ansatz, einem kontinuierlichen Teacher-Student-Distillationsmodell, das auf streng sequenzielle Aufgaben mit polynomischer Iteration angewendet wird.

Durch den Einsatz von Logit-Lens-Decodierung, linearen Probes, Attention-Analyse und Aktivierungs-Patching konnte das Team die Zwischenschritte des Modells lokalisieren und deren Weiterleitung zum Endausgang nachverfolgen. Bei Aufgaben mit zwei und drei Sprüngen bildet CODI ein vollständiges Set von Brückenzuständen, die über die latenten Gedankenpositionen hinweg dekodierbar sind. Der finale Eingabevektor folgt hingegen einem fast direkten Pfad, wobei die Vorhersagen erst am Ende der Gedankenkette durch late Fusion zusammengeführt werden.

Bei längeren Sprunglängen gelingt es CODI nicht mehr, einen vollständigen latenten Rollout durchzuführen. Stattdessen konzentriert sich das Modell auf späte Zwischenzustände und kombiniert diese mit der letzten Eingabe, um die Antwort zu generieren. Ablationsstudien zeigen, dass dieser teilweise Pfad bei Änderungen im Trainingsregime oder bei schwierigeren Optimierungsaufgaben zusammenbrechen kann.

Die Studie liefert klare Einblicke, wann Latent-CoT-Modelle echte iterative Berechnungen durchführen und wann sie kompakte oder Abkürzungsstrategien nutzen. Gleichzeitig unterstreicht sie die Herausforderungen bei der Gestaltung robuster Latent-CoT-Ziele für sequentielle Problemlösungen.