ZeroQAT: Quantisierung ohne Backpropagation – effizient und präzise

Die Quantisierung großer Sprachmodelle reduziert die Kosten für deren Einsatz erheblich. Während die nachträgliche Quantisierung (PTQ) wegen ihrer Effizienz beliebt ist, leiden Low‑Bit‑PTQ‑Methoden häufig unter Genauigkeitsverlusten. Diese Probleme entstehen, weil die schichtweise Optimierung Fehler kumuliert und die lokalen Rekonstruktionsziele nicht mit der Endleistung übereinstimmen.

Quantisierung‑aware Training (QAT) löst diese Schwächen prinzipiell, jedoch erfordert die Rückpropagation enorme Datenmengen, Rechenzeit und Speicher. Das macht QAT in der Praxis kaum umsetzbar. ZeroQAT begegnet diesen Hindernissen, indem es eine zeroth‑Order‑Optimierung nutzt, die ausschließlich Vorwärtsgradienten schätzt und die Rückpropagation vollständig eliminiert.

Durch die Kombination von quantisierten Gewichten, Gewichtsschnittschwellen und äquivalenten Transformationen lernt ZeroQAT gleichzeitig, Quantisierungsfehler zu reduzieren und Ausreißer in den Aktivierungen zu handhaben. Experimente zeigen, dass ZeroQAT die Effizienz von PTQ beibehält und gleichzeitig die Genauigkeit von QAT liefert – ein praktikabler Ansatz für hochwertige Low‑Bit‑Quantisierung von LLMs.