Pruning ohne Daten: Genauigkeitsrückgewinnung via datenfreier Distillation

Model‑Pruning ist ein bewährtes Verfahren, um die Rechenlast und den Speicherbedarf von Deep Neural Networks drastisch zu senken. In der Praxis führt die globale, unstrukturierte Pruning‑Strategie jedoch häufig zu einem deutlichen Accuracy‑Drop, der üblicherweise durch ein erneutes Fine‑Tuning auf dem ursprünglichen Trainingsdatensatz kompensiert wird.

In Bereichen, in denen die Nutzung der Originaldaten nach dem Deployment durch Datenschutzgesetze wie GDPR oder HIPAA eingeschränkt ist, stellt das Fehlen von Trainingsdaten ein ernstes Hindernis dar. Die vorgestellte Arbeit löst dieses Problem mit einem datenfreien Knowledge‑Distillation‑Framework. Durch die Technik DeepInversion werden aus den Batch‑Normalization‑Statistiken des vortrainierten Lehrmodells sogenannte „Traum‑Bilder“ erzeugt, die keine sensiblen Informationen enthalten.

Diese synthetischen Bilder bilden ein Transfer‑Set, mit dem das verkleinerte Modell das Wissen des ursprünglichen Lehrmodells übernimmt. Auf dem Benchmark‑Datensatz CIFAR‑10 und bei verschiedenen Architekturen – ResNet, MobileNet und VGG – konnte gezeigt werden, dass die Methode die durch das Pruning verlorene Genauigkeit signifikant wiederherstellt, ohne dass ein einziges echtes Datenexemplar benötigt wird.

Damit bietet die Arbeit einen praktikablen Ansatz, um die Vorteile von Model‑Pruning in datenschutzkritischen Anwendungen zu nutzen, ohne die Privatsphäre der Nutzer zu gefährden. Die Ergebnisse unterstreichen das Potenzial datenfreier Distillation als zukunftsweisende Technik für sichere, effiziente KI‑Modelle.