GDKD: Verteilungsbasierte Distillation steigert Leistung
In der Entwicklung von Knowledge‑Distillation hat sich der Fokus von Logit‑ zu Feature‑basierten Ansätzen gewandelt. Mit der Einführung von Decoupled Knowledge Distillation (DKD) wurde die Bedeutung von Logits jedoch wi…