TERMINATOR: Optimale Abbruchpunkte für Chain-of-Thought-Modelle finden

Große Rechenmodelle für komplexe Aufgaben nutzen Chain-of-Thought (CoT), um Zwischenschritte zu generieren, bevor sie die endgültige Antwort liefern. Trotz ihrer beeindruckenden Leistungen neigen diese Modelle häufig zu „Overthinking“ – sie verbrauchen viel Rechenzeit, auch nachdem die Antwort bereits frühzeitig bestimmt wurde.

Frühere Studien haben gezeigt, dass es für jede Aufgabe und jedes Modell einen optimalen Punkt gibt, an dem die CoT-Ausgabe abgeschnitten werden kann, ohne die Leistung wesentlich zu beeinträchtigen. Die Herausforderung besteht jedoch darin, diese optimalen Längen für reale Datensätze zuverlässig zu bestimmen.

In der vorliegenden Arbeit wird TERMINATOR vorgestellt, eine Early‑Exit‑Strategie, die genau dieses Problem löst. Der Ansatz beruht auf der Beobachtung, dass die erste Auftretensposition der endgültigen Antwort eines Modells oft vorhersehbar ist. Durch die Nutzung dieser Positionen wird ein neues Datenset optimaler Reasoning‑Längen erstellt, das TERMINATOR trainiert.

Die Ergebnisse sind beeindruckend: Auf vier anspruchsvollen praktischen Datensätzen – MATH‑500, AIME 2025, HumanEval und GPQA – reduziert TERMINATOR die durchschnittliche CoT‑Länge um 14 % bis 55 %. Gleichzeitig übertrifft es die derzeit besten Methoden in Bezug auf Effizienz und Genauigkeit.