ZeroQAT: Quantisierung ohne Backpropagation – effizient und präzise
Die Quantisierung großer Sprachmodelle reduziert die Kosten für deren Einsatz erheblich. Während die nachträgliche Quantisierung (PTQ) wegen ihrer Effizienz beliebt ist, leiden Low‑Bit‑PTQ‑Methoden häufig unter Genauigk…