Autocurriculum: Training von Sprachmodellen für Chain-of-Thought-Reasoning optimiert

Chain-of-Thought-Reasoning, bei dem Sprachmodelle vor der Endantwort zusätzliche Denk‑Tokens erzeugen, hat die Leistungsfähigkeit von KI stark vorangebracht. Doch das Training dieser Modelle ist extrem teuer – es erfordert lange, menschlich oder synthetisch generierte Denk‑Spuren und anschließend ein Reinforcement‑Learning‑Fine‑Tuning. Die Frage: Sind diese Kosten unvermeidlich oder lässt sich durch cleveres Design die Belastung senken?

Eine neue Studie zeigt, dass ein sogenanntes Autocurriculum – bei dem das Modell selbst anhand seiner Leistung entscheidet, welche Aufgaben im Training priorisiert werden – nachweislich bessere Ergebnisse liefert als herkömmliche Trainingsmethoden, sowohl beim überwachten Fine‑Tuning (SFT) als auch beim Reinforcement‑Learning (RL).

Im SFT‑Modus benötigt Autocurriculum exponentiell weniger Demonstrationen, weil die Lehr‑Supervision gezielt auf jene Eingabeaufforderungen gerichtet wird, bei denen das aktuelle Modell noch Schwächen hat. Beim RL‑Fine‑Tuning trennt Autocurriculum die Rechenkosten von der Qualität des Referenzmodells: Der Aufwand für die Anfangsphase wird auf einen fast konstanten „Burn‑In“-Kostenpunkt reduziert, der kaum noch von der Ziel‑Genauigkeit abhängt.

Diese Fortschritte entstehen ausschließlich durch adaptive Datenauswahl, inspiriert von klassischen Boosting‑ und Counterexample‑Lerntechniken, und erfordern keinerlei Annahmen über die Verteilung oder Schwierigkeit der Aufgaben.