Neue KL-basierte Selbstdistillation erweitert Vokabular großer Sprachmodelle

Große, vortrainierte Sprachmodelle haben oft Schwierigkeiten, neue Fachbegriffe in kleinen, spezialisierten Datensätzen zu verarbeiten. Forscher haben deshalb eine mathematisch fundierte Methode entwickelt, die Wissen über die Kullback–Leibler‑Divergenz (KL) zwischen einem „Lehrer“- und einem „Schüler“-Modell überträgt – selbst wenn die beiden Modelle unterschiedliche Tokenisierungen verwenden. Dadurch kann das Schülermodell die Verteilung des Lehrers übernehmen, ohne dass die Vokabulare identisch sein müssen.

Die Autoren vergleichen ihre KL‑basierte Distillation mit dem klassischen Cross‑Entropy‑Training und testen verschiedene Ansätze zur Initialisierung neuer Token‑Einbettungen. Nach der Initialisierung werden die Modelle weiter feinjustiert, um das erweiterte Vokabular zu integrieren. Auf rund 2.000 Code‑Generierungsaufgaben wird jedes Modell bewertet, wobei die KL‑Distillation konsequent die besten Ergebnisse liefert.

Darüber hinaus analysieren die Forscher mithilfe mechanistischer Interpretierbarkeit, wie die Modelle die neuen Tokens repräsentieren lernen. Diese Einsichten erklären die Leistungssteigerungen und geben einen klaren Überblick über die Struktur des Einbettungsraums während der Vokabularerweiterung.