Neues Quantisierungskonzept: Soft Quantization komprimiert neuronale Netze

In einer kürzlich veröffentlichten Studie auf arXiv wird ein innovatives Quantisierungskonzept namens Soft Quantization vorgestellt. Das Verfahren nutzt kurzreichweitige, anziehende Kopplungen zwischen den Gewichten eines neuronalen Netzwerks während des Trainings, um die Gewichtsverteilung schnell zu diskretisieren.

Durch diese Kopplungen entsteht eine Mixed‑Precision‑Quantisierung, die lediglich zwei zusätzliche Hyperparameter erfordert. Die Gewichte werden so in diskrete Werte überführt, ohne dass die Modellarchitektur verändert werden muss.

In Experimenten mit ResNet‑20 auf dem CIFAR‑10‑Datensatz hat Soft Quantization die Leistung von histogram‑gleichmäßig verteilten Post‑Training‑Quantisierungsverfahren übertroffen. Das Ergebnis zeigt, dass das neue Verfahren in einem geeigneten Hyperparameterbereich besonders effizient ist.

Soft Quantization bietet damit nicht nur einen flexiblen Komprimierungs‑Pipeline für Machine‑Learning‑Modelle, sondern liefert auch ein neues Werkzeug, um das Zusammenspiel von Kompression und Generalisierung in hochdimensionalen Verlustlandschaften zu untersuchen.