On‑Policy‑Distillation: Kürzere Prefixe sparen bis zu 47 × Rechenleistung

In einer neuen Studie von Forschern auf arXiv wird gezeigt, dass die On‑Policy‑Distillation (OPD) – ein Verfahren, bei dem ein Student-Modell Trajektorien erzeugt und diese tokenweise von einem Lehrer überwacht werden – durch die Fokussierung auf kurze Prefixe deutlich effizienter gestaltet werden kann. OPD vermeidet die Abhängigkeit von Endwerten und erzielt damit oft bessere Generalisierung als Off‑Policy‑Distillation.

Der Hauptnachteil bisheriger OPD‑Methoden liegt im hohen Rechenaufwand: Während des Trainings muss das Student-Modell ständig neue Sequenzen erzeugen, was besonders bei langen Antworten sehr teuer ist. Die Autoren analysierten die Trainingssignale und stellten fest, dass die wichtigsten Lernimpulse bereits im Anfangssegment jeder Ausgabe liegen.

Auf dieser Erkenntnis basierend schlagen die Forscher vor, die Distillation ausschließlich auf die Prefixe der vom Student generierten Ausgaben anzuwenden und die Sampling‑Schleifen frühzeitig zu beenden. Durch diese Anpassung erreichen sie die gleiche Leistung wie bei vollständiger OPD, während die benötigte FLOP-Zahl um das Zwei‑ bis Vierzigfache reduziert wird.

Experimentelle Ergebnisse auf einer Reihe von AI‑for‑Math‑ und Out‑of‑Domain‑Benchmarks bestätigen die Wirksamkeit der Methode. Die neue Technik bietet damit einen vielversprechenden Weg, On‑Policy‑Distillation schneller und kostengünstiger zu machen, ohne die Qualität der Modelle zu beeinträchtigen.