Draft-Thinking: Effizientes Lösen von langen Argumentationsketten in LLMs

Die Technik des „Long Chain‑of‑Thought“ (CoT) hat sich als führendes Verfahren zur Steigerung der Rechenleistung großer Sprachmodelle etabliert. Doch die damit einhergehende Kostenexplosion – sowohl in Token‑Anzahl als auch in Rechenzeit – stellt ein ernstes Hindernis dar. Viele aktuelle Ansätze versuchen, die Token‑Länge zu verkürzen, greifen dabei jedoch auf nachträgliche Kompression, Abschneidung oder Längen­penalitäten zurück, ohne die eigentliche Denkstruktur zu optimieren.

Draft‑Thinking bietet einen völlig neuen Ansatz: Das Modell wird zunächst dazu angeleitet, eine kompakte „Entwurfs‑Logik“ zu erlernen, die nur die wesentlichen Schlüsselschritte enthält. Durch ein progressives Curriculum‑Learning internalisiert das Modell diese effiziente Denkweise stabil, während es gleichzeitig adaptive Prompting‑Mechanismen nutzt, um die Tiefe der Argumentation flexibel an die Modellstärke anzupassen. So wird das Risiko des „systematischen Überdenkens“ deutlich reduziert.

Umfangreiche Experimente belegen die Wirksamkeit: Auf der MATH500‑Benchmark konnte Draft‑Thinking den Rechenaufwand um beeindruckende 82,6 % senken, während die Leistung lediglich um 2,6 % zurückging. Damit demonstriert die Methode, dass man große Sprachmodelle nicht nur leistungsfähiger, sondern auch ressourcenschonender machen kann – ein entscheidender Schritt für die praktische Anwendung komplexer KI‑Systeme.