Neues Verfahren steigert Genauigkeit quantisierter neuronaler Netze
Ein neues Verfahren namens Progressive Element-wise Gradient Estimation (PEGE) verspricht, die Genauigkeit von quantisierten neuronalen Netzwerken deutlich zu verbessern. PEGE ersetzt die herkömmliche Straight-Through Estimator (STE)-Methode, die bei der Quantisierung häufig zu Genauigkeitsverlusten führt, insbesondere bei extrem niedrigen Bitbreiten.