Neue Methode distilliert RL-optimierte LLMs effizienter

Reinforcement‑Learning‑Post‑Training hat kürzlich große Fortschritte bei der langen Ketten‑von‑Denken‑Logik von großen Sprachmodellen erzielt. Der enorme Inferenzaufwand dieser Modelle treibt jedoch die Notwendigkeit, sie in kleinere Schüler zu distillieren, voran.

Die meisten bestehenden Knowledge‑Distillation‑Methoden wurden für das überwachte Fein‑Tuning entwickelt und setzen auf feste Lehrspuren oder einen Kullback‑Leibler‑Regulierungs­term zwischen Lehrer und Schüler. In Kombination mit RL führen diese Ansätze häufig zu einer Verteilungskonflikt‑ und Zielkonflikt‑Situation: Die Lehrer‑Supervision passt nicht mehr zur sich wandelnden Rollout‑Verteilung des Schülers, und der KL‑Regulator konkurriert mit der Belohnungsmaximierung, was ein sorgfältiges Verlust‑Balancing erfordert.

Um diese Probleme zu lösen, wurde RL‑Aware Distillation (RLAD) vorgestellt. RLAD führt selektive Imitation während des RL‑Trainings ein und führt den Schüler nur dann zum Lehrer, wenn die aktuelle Politikverbesserung dadurch unterstützt wird. Das Kernstück, Trust Region Ratio Distillation (TRRD), ersetzt den KL‑Regulator durch ein PPO/GRPO‑ähnliches Likelihood‑Ratio‑Objektiv, das an einer Mischung aus Lehrer‑ und alter Politik ausgerichtet ist. Dadurch entsteht eine vorteil‑bewusste, vertrauensregion‑gebundene Distillation, die Exploration, Ausnutzung und Imitation natürlich ausbalanciert.

In einer Vielzahl von Logik‑ und Mathematik‑Benchmarks übertrifft RLAD konsequent Offline‑Distillation, Standard‑GRPO und KL‑basierte on‑policy Lehrer‑Schüler‑Knowledge‑Distillation. Die neue Methode zeigt, dass RL‑aware Distillation eine vielversprechende Lösung für die effiziente Skalierung von RL‑optimierten Sprachmodellen darstellt.