Neues Paradigma: Datenlose Wissensübertragung zwischen KI-Modellen
Moderne KI-Systeme sind stark auf riesige Datensätze angewiesen, um Modelle zu trainieren und Wissen zwischen ihnen zu übertragen. Traditionelle Methoden wie Knowledge Distillation, Transfer Learning und Dataset Distillation haben die Effizienz verbessert, bleiben jedoch datenabhängig: ein Lehrer‑Modell muss Beispiele, Logits oder Gradienten erzeugen, damit ein Schüler‑Modell lernen kann.
Mit dem neuen Ansatz M2KT (Model‑to‑Model Knowledge Transmission) wird diese Abhängigkeit drastisch reduziert. M2KT ermöglicht es Modellen, sogenannte „Knowledge Packets“ auszutauschen, die strukturierte Konzept‑Embeddings, Abstraktionsgraphen, Reasoning‑Spuren und Provenienz‑Metadaten enthalten. Im Gegensatz zu klassischen Distillationstechniken arbeitet M2KT primär im Konzeptraum und benötigt weder gelabelte Datensätze noch vom Lehrer generierte Ausgaben.
Die Autoren führen das Konzept der „Concept Manifolds“ ein und definieren eine Inter‑Modell‑Alignierungs‑Mapping zwischen den latenten Räumen von Lehrer und Schüler. Ein zusammengesetzter Verlustterm sorgt für geometrische, strukturelle und reasoning‑Konsistenz sowie explizite Sicherheitsbeschränkungen. Zusätzlich werden algorithmische Verfahren für die Paketgenerierung auf der Lehrer‑Seite und die Ingestion sowie Verifikation auf der Schüler‑Seite beschrieben.
Experimentelle Ergebnisse auf symbolischen Reasoning‑Aufgaben mit großen Sprachmodellen zeigen, dass M2KT etwa 85 – 90 % der Leistung des Lehrermodells erreicht, während der Datenverbrauch im Vergleich zur klassischen Knowledge Distillation um über 98 % reduziert wird. Diese Leistung demonstriert, dass datenlose Wissensübertragung nicht nur theoretisch machbar, sondern auch praktisch hochwirksam ist.
Das vorgestellte Framework legt damit einen soliden theoretischen und praktischen Grundstein für die Zukunft der KI‑Wissensübertragung ohne Datenabhängigkeit und eröffnet neue Möglichkeiten für ressourcenschonende, sichere und effiziente KI‑Entwicklung.