Neue Technik senkt Quantisierungsfehler bei LLMs um bis zu 28,5 %
Post‑Training‑Quantisierung (PTQ) ist ein beliebtes Verfahren, um große Sprachmodelle auf Geräten mit begrenzten Ressourcen einzusetzen. Ein entscheidender Engpass bleibt jedoch die Qualität der Kalibrierungsdaten: Mit…