Neues Verfahren steigert Genauigkeit quantisierter neuronaler Netze

Ein neues Verfahren namens Progressive Element-wise Gradient Estimation (PEGE) verspricht, die Genauigkeit von quantisierten neuronalen Netzwerken deutlich zu verbessern. PEGE ersetzt die herkömmliche Straight-Through Estimator (STE)-Methode, die bei der Quantisierung häufig zu Genauigkeitsverlusten führt, insbesondere bei extrem niedrigen Bitbreiten.

PEGE arbeitet, indem es die vollständigen Präzisionsgewichte und -aktivierungen schrittweise durch ihre quantisierten Gegenstücke ersetzt. Dabei nutzt es eine logarithmisch basierte Curriculum-Strategie, die die Übergänge zwischen den Präzisionsstufen kontrolliert. Gleichzeitig formuliert PEGE das Quantization-Aware Training (QAT) als ein gemeinsames Optimierungsproblem, das sowohl die Aufgabe des Modells als auch den Quantisierungsfehler minimiert.

In umfangreichen Tests auf den Datensätzen CIFAR-10 und ImageNet, unter Einsatz verschiedener Architekturen wie ResNet und VGG, zeigte PEGE konsequente Verbesserungen gegenüber bestehenden Backpropagation-Methoden. Besonders bemerkenswert ist, dass Modelle mit sehr niedriger Bitbreite nicht nur die Leistung ihrer Vollpräzisions-Pendants erreichen, sondern in einigen Fällen sogar darüber hinausgehen.