On-Policy Distillation neu bewertet: Fehlerquellen erkannt, Lösungen entwickelt

On‑Policy Distillation (OPD) gilt als vielversprechende Methode für die Nachschulung großer Sprachmodelle, weil sie das Feedback des Lehrers auf roll-out‑generierte Sequenzen anstatt auf feste Lehrspuren stützt. In Aufgaben mit langen Zeithorizonten zeigt sich jedoch, dass die gängige tokenbasierte Variante anfällig ist: Sie reduziert die Abgleichung der Verteilungen auf ein einzelnes Token und wird zunehmend unzuverlässig, wenn die Rollouts von den Prefixen abweichen, die der Lehrer häufig besucht.

Aus theoretischer Sicht ist tokenbasierte OPD gegenüber der sequentiellen Reverse‑KL-Bewertung verzerrt, bietet dafür aber eine deutlich engere Worst‑Case‑Varianzgrenze. Ein vereinfachtes Modell bestätigt diesen Kompromiss: Je stärker die zukünftige Belohnung in die Gradienten einfließt, desto höher wird die Varianz und desto weniger stabil wird das Lernen.

Empirisch lassen sich drei Hauptfehlerquellen identifizieren: ein unausgewogenes ein‑Token‑Signal, unzuverlässige Lehrer‑Anweisungen für von Schülern generierte Prefixe und Verzerrungen, die durch Tokenizer‑ oder Sondertoken‑Unstimmigkeiten entstehen. Diese Probleme führen zu instabilen Optimierungen und schlechteren Ergebnissen.

Die Autoren schlagen eine Kombination aus Lehrer‑Top‑K‑Lokaler‑Support‑Matching, einer abgeschnittenen Reverse‑KL‑Berechnung mit Top‑p‑Rollout‑Sampling und einer Maskierung von Sondertokenen vor. In Tests mit einer einzelnen Mathematik‑Aufgabe sowie einem Multi‑Task‑Training, das agentische und mathematische Elemente vereint, liefert diese neue Zielsetzung stabilere Lernkurven und verbesserte Leistungen im Vergleich zur klassischen tokenbasierten OPD.