Effiziente KI-Kompression: Prune‑Quantize‑Distill‑Pipeline reduziert Latenz

Moderne KI‑Modelle müssen häufig Genauigkeit gegen Effizienz abwägen. Dabei reichen gängige Kompressionsindikatoren wie Parameterzahl oder FLOPs nicht zuverlässig, um die tatsächliche Laufzeit zu prognostizieren. Insbesondere unstrukturierte Sparsity kann die Modellgröße verkleinern, führt aber oft nicht zu einer Beschleunigung – manchmal sogar zu einer leichten Verlangsamung – weil unregelmäßiger Speicherzugriff und Overhead bei sparsamen Kernel‑Operationen entstehen.

Um dieses Problem zu lösen, stellt die Studie einen praxisnahen, geordneten Pipeline-Ansatz vor, der gezielt die gemessene Latenz reduziert. Der Ansatz kombiniert drei bewährte Techniken: unstrukturierte Pruning, INT8 quantisierungssensitives Training (QAT) und Knowledge Distillation (KD). Die Reihenfolge der Schritte ist entscheidend, denn sie beeinflusst die Leistungsfähigkeit der einzelnen Methoden.

Die Experimente zeigen, dass INT8 QAT den größten Laufzeitvorteil liefert. Pruning wirkt als Kapazitätsreduzierung, die die Robustheit der nachfolgenden Low‑Precision‑Optimierung verbessert. KD, das zuletzt angewendet wird, stellt die Genauigkeit im bereits stark komprimierten, sparsamen INT8‑Modell wieder her, ohne die Deploy‑Form zu verändern.

Auf den Datensätzen CIFAR‑10 und CIFAR‑100 wurden drei Architekturen – ResNet‑18, WRN‑28‑10 und VGG‑16‑BN – getestet. Die geordnete Pipeline übertrifft jede einzelne Technik in Bezug auf Genauigkeit, Größe und Latenz. Sie erreicht CPU‑Latenzen von 0,99 bis 1,42 ms, während die Genauigkeit konkurrenzfähig bleibt und die Checkpoints kompakt bleiben.

Durch gezielte Ablationsstudien mit fester Epochenzuteilung (20/40/40) wurde bestätigt, dass die Reihenfolge der Schritte einen signifikanten Einfluss hat. Die vorgeschlagene Reihenfolge liefert im Vergleich zu allen getesteten Permutationen die besten Ergebnisse.

Insgesamt demonstriert die Arbeit, dass eine sorgfältig abgestimmte Kombination aus Pruning, Quantisierung und Distillation die optimale Balance zwischen Genauigkeit, Modellgröße und Laufzeit für CPU‑Deployments liefert.