D²Quant: Präzise Low-Bit-Quantisierung von LLMs ohne Genauigkeitsverlust
Die neuesten Fortschritte in großen Sprachmodellen (LLMs) liefern beeindruckende Leistungen, doch ihre hohen Rechen- und Speicheranforderungen erschweren die Nutzung in ressourcenbeschränkten Umgebungen. Eine vielverspr…