GDKD: Verteilungsbasierte Distillation steigert Leistung

In der Entwicklung von Knowledge‑Distillation hat sich der Fokus von Logit‑ zu Feature‑basierten Ansätzen gewandelt. Mit der Einführung von Decoupled Knowledge Distillation (DKD) wurde die Bedeutung von Logits jedoch wieder betont – dank ausgefeilter Decoupling‑ und Gewichtungsstrategien. Die neue Arbeit geht noch einen Schritt weiter und betrachtet DKD aus der Perspektive der Vorhersageverteilung.

Die Autoren stellen den Generalized Decoupled Knowledge Distillation (GDKD) Loss vor, der Logits flexibler trennt und dabei die Verteilung des Lehrmodells stärker berücksichtigt. Zwei zentrale Erkenntnisse werden dabei herausgearbeitet: Erstens verbessert die Aufteilung anhand des Top‑Logits die Interaktion zwischen den übrigen Logits erheblich. Zweitens führt ein verstärkter Fokus auf die Distillation der Nicht‑Top‑Logits zu einer intensiveren Wissensübertragung unter diesen Logits.

Auf Basis dieser Einsichten wird ein schlanker GDKD‑Algorithmus mit einer effizienten Partitionierungsstrategie vorgestellt, die die Multimodalität der Lehrverteilung handhabt. Umfangreiche Experimente auf CIFAR‑100, ImageNet, Tiny‑ImageNet, CUB‑200‑2011 und Cityscapes zeigen, dass GDKD die Leistung von DKD und anderen führenden Distillationstechniken deutlich übertrifft. Der zugehörige Code ist öffentlich zugänglich.