Wie Unsicherheit bei der Wissensdistillation übertragen wird
Eine neue Untersuchung von ArXiv beleuchtet, wie Unsicherheit während der Wissensdistillation von einem Lehrer- zu einem Schülermodell weitergegeben wird. Die Autoren zeigen, dass der Prozess von Natur aus stochastisch ist – sowohl die Ausgaben des Lehrers als auch das Training und die Inferenz des Schülers können zufällig variieren. Ein einziger Punktwert kann dabei wichtige Unsicherheitsinformationen verfälschen.
Die Studie analysiert drei typische Modellklassen: lineare Regression, Feed‑Forward‑Neuronale Netze und große Sprachmodelle (LLMs). Dabei unterscheiden die Forscher zwischen inter‑Student‑Unsicherheit (Varianz über mehrere unabhängig distillierte Schüler) und intra‑Student‑Unsicherheit (Varianz der Vorhersage eines einzelnen Schülers). Sie stellen fest, dass herkömmliche Distillation die intra‑Student‑Varianz unterdrückt, während die inter‑Student‑Varianz weiterhin hoch bleibt.
Um diese Diskrepanz zu beheben, schlagen die Autoren zwei einfache, aber wirkungsvolle Strategien vor: Erstens das Mittelwert‑Bilden mehrerer Lehrerantworten, was das Rauschen um den Faktor \(O(1/k)\) reduziert. Zweitens die Varianz‑Gewichtung, bei der Lehrer‑ und Schülerschätzungen mittels inverser Varianz kombiniert werden, um einen Minimum‑Varianz‑Estimator zu erhalten. Für lineare Regression liefern die Autoren formale Garantien, während sie die Methoden in neuronalen Netzen validieren und in LLM‑Distillation signifikante Verbesserungen erzielen – darunter weniger systematisches Rauschen und geringere Halluzinationen.
Die Ergebnisse stellen die Wissensdistillation als eine Transformation von Unsicherheit dar und zeigen, dass varianzbewusste Distillation zu stabileren Schülermodellen führt, die die Unsicherheit des Lehrers besser widerspiegeln.