CtrlCoT: Dual‑Granularität für effiziente Chain‑of‑Thought‑Kompression

Ein neues Verfahren namens CtrlCoT wurde vorgestellt, das die lange und kostenintensive Chain‑of‑Thought (CoT) – ein Verfahren, bei dem große Sprachmodelle Schritt für Schritt ihre Überlegungen ausgeben – effizienter gestaltet. Durch die Kombination von semantischer Abstraktion und token‑basiertem Pruning kann CtrlCoT die Länge der CoT‑Spuren deutlich reduzieren, ohne die Genauigkeit zu beeinträchtigen.

CtrlCoT arbeitet in drei Schritten. Zunächst erzeugt die Hierarchical Reasoning Abstraction CoT‑Spuren in unterschiedlichen semantischen Detaillierungsgraden. Anschließend trainiert ein Logic‑Preserving Distillation‑Modell einen pruner, der wichtige logische Elemente wie Zahlen und Operatoren beibehält. Schließlich sorgt Distribution‑Alignment Generation dafür, dass die komprimierten Spuren mit dem natürlichen Sprachstil der Inferenzphase übereinstimmen, wodurch Fragmentierung vermieden wird.

In Tests auf dem MATH‑500‑Datensatz mit dem Modell Qwen2.5‑7B‑Instruct konnte CtrlCoT die Tokenanzahl um 30,7 % senken und gleichzeitig die Genauigkeit um 7,6 Prozentpunkte gegenüber dem besten bestehenden Ansatz steigern. Die Autoren planen, den Code öffentlich zugänglich zu machen, sodass die Forschungsgemeinschaft die Methode weiterentwickeln kann.