Neuer Ansatz: Adaptive Dataset-Quantisierung reduziert Datensätze drastisch

Ein neues Verfahren zur Dataset‑Quantisierung, vorgestellt auf arXiv, verspricht, die Speicher- und Kommunikationskosten großer Datensätze für ressourcenbeschränkte Edge‑Geräte drastisch zu senken. Im Gegensatz zu herkömmlichen Pruning‑ und Distillationstechniken, die sich auf die Reduktion von Inter‑Sample‑Redundanz konzentrieren, fokussiert die Methode auf die Intra‑Sample‑Redundanz und komprimiert jedes Bild, indem weniger informative Inhalte innerhalb eines Samples entfernt werden, ohne dabei wesentliche Merkmale zu verlieren.

Der Ansatz beginnt mit einer linearen, symmetrischen Quantisierung, die für jedes Sample einen anfänglichen Quantisierungsbereich und eine Skalierung bestimmt. Anschließend wird ein adaptiver Quantisierungs‑Allokationsalgorithmus eingesetzt, der unterschiedliche Quantisierungsraten je nach Präzisionsbedarf der einzelnen Samples verteilt, während das Gesamtkontraktionsverhältnis konstant bleibt. Damit wird erstmals gezeigt, dass Datensätze mit einer begrenzten Bitzahl gespeichert werden können, ohne die Modellleistung zu beeinträchtigen.

Die Autoren haben die Wirksamkeit ihres Verfahrens umfangreich auf den Datensätzen CIFAR‑10, CIFAR‑100 und ImageNet‑1K getestet. Die Ergebnisse zeigen, dass die adaptive Quantisierung die Trainingsleistung der Modelle beibehält und gleichzeitig eine signifikante Datensatzerweiterung erzielt, die herkömmliche Quantisierungs‑ und Pruning‑Baselines bei gleichem Kompressionsverhältnis übertrifft.