GlowQ: Gruppenbasierte Low‑Rank‑Korrektur für quantisierte LLMs
Quantisierungsmethoden wie BitsAndBytes, AWQ und GPTQ sind Standardwerkzeuge für die Bereitstellung großer Sprachmodelle, doch sie führen häufig zu Genauigkeitsverlusten, wenn sehr niedrige Bitzahlen – etwa vier Bits –…