Quantisierung von LLMs: 4‑Bit‑Modelle behalten kausale Genauigkeit bei
Eine neue Studie aus dem arXiv‑Repository untersucht, wie stark die Reduktion der numerischen Präzision bei großen Sprachmodellen die Fähigkeit zur kausalen Analyse beeinträchtigt. Dabei wurden die Modelle Llama 3 8B in…