LLMs auf Mobilgeräten: 4‑Bit‑Quantisierung reduziert Modellgröße um 69 %
Large Language Models (LLMs) bieten enorme Möglichkeiten, doch ihre Größe und der hohe Rechenaufwand machen ein direktes Ausführen auf Smartphones schwierig. Ein neues Verfahren namens Post‑Training Quantization (PTQ) z…