Neues Paradigma: Datenlose Wissensübertragung zwischen KI-Modellen
Moderne KI-Systeme sind stark auf riesige Datensätze angewiesen, um Modelle zu trainieren und Wissen zwischen ihnen zu übertragen. Traditionelle Methoden wie Knowledge Distillation, Transfer Learning und Dataset Distillation haben die Effizienz verbessert, bleiben jedoch datenabhängig: ein Lehrer‑Modell muss Beispiele, Logits oder Gradienten erzeugen, damit ein Schüler‑Modell lernen kann.
