Benford-Quant: Logarithmisch angepasste Quantisierung steigert LLM-Leistung
Mit dem rasanten Wachstum großer Sprachmodelle steigt der Bedarf an effektiven Kompressionsmethoden. Die am häufigsten eingesetzte Technik ist die Gewichtquantisierung, bei der die Modellparameter auf wenige Bits reduzi…