Neues Quantisierungsverfahren steigert Durchsatz von neuronalen Netzen um 50 %

Ein neues Verfahren namens Arithmetic‑Intensity‑Aware Quantization (AIQ) verspricht, die Leistungsfähigkeit moderner neuronaler Netzwerke deutlich zu erhöhen. Durch die gezielte Auswahl von Bit‑Breiten pro Layer optimiert AIQ die arithmetische Intensität (AI) – also das Verhältnis von Rechenoperationen zu Datenzugriffen – und minimiert gleichzeitig den Genauigkeitsverlust.

AIQ ist ein Post‑Training‑Quantisierungstool, das mithilfe von Suchalgorithmen verschiedene Quantisierungsschemata für einzelne Layer untersucht. Dabei wird ein gewichteter Verlust zwischen AI und Genauigkeit minimiert, sodass die optimale Balance für jede Schicht gefunden wird.

In Tests mit ResNet‑20 auf CIFAR‑10 konnte AIQ die AI um etwa 50 % steigern, während die Testgenauigkeit nur um rund einen Prozentpunkt zurückging – ein deutlich besseres Ergebnis als bei globalen, einheitlichen Quantisierungsschemata. Auf dem speicher‑gebundenen MobileNetV2 erzielte AIQ eine Durchsatzsteigerung von 1,66‑fach im Vergleich zum FP32‑Baseline, wobei die Genauigkeit ebenfalls innerhalb eines Prozentpunkts blieb.

Ein interessanter Nebeneffekt von AIQ ist, dass größere Layer natürlicherweise stärker quantisiert werden, was die Effizienz weiter erhöht. Das Verfahren zeigt damit großes Potenzial, die Rechenleistung von Deep‑Learning‑Modellen in ressourcenbeschränkten Umgebungen zu verbessern.