PRISM: Dataset Distillation ohne architektonische Voreingenommenheit

Die neue Methode PRISM (PRIors from diverse Source Models) löst ein langjähriges Problem in der Dataset‑Distillation: die starke Abhängigkeit von einem einzigen Lehrmodell. Durch die Trennung von Logit‑Matching und Regularisierung wird die Synthese von künstlichen Daten unabhängiger von architektonischen Vorannahmen.

PRISM nutzt zwei unterschiedliche Lehrmodelle – ein Hauptmodell für die Logit‑Übereinstimmung und ein stochastisches Subset für die Batch‑Normalization‑Ausrichtung. Diese Aufteilung verhindert, dass die generierten Bilder zu glatt und homogen werden, was bei herkömmlichen Ansätzen häufig zu einer eingeschränkten Intra‑Klassen‑Diversität führt.

Auf dem ImageNet‑1K‑Datensatz übertrifft PRISM konsequent sowohl Einzel‑Lehrermodelle wie SRe2L als auch neuere Multi‑Lehrermodelle wie G‑VBSM, insbesondere in den niedrigen und mittleren IPC‑Regimen. Die erzeugten Daten zeigen zudem eine deutlich höhere Vielfalt innerhalb der Klassen, was sich in einer signifikanten Abnahme der Kosinus‑Ähnlichkeit zwischen Feature‑Vektoren widerspiegelt.

Zusätzlich untersucht die Arbeit Strategien zur Auswahl der Lehrmodelle – ob vor oder während der Distillation – und führt ein skalierbares Cross‑Class‑Batch‑Formationsschema ein, das eine schnelle parallele Synthese ermöglicht. Der zugehörige Code wird nach Abschluss der Begutachtung veröffentlicht.