LLMs auf Mobilgeräten: 4‑Bit‑Quantisierung reduziert Modellgröße um 69 %

Large Language Models (LLMs) bieten enorme Möglichkeiten, doch ihre Größe und der hohe Rechenaufwand machen ein direktes Ausführen auf Smartphones schwierig. Ein neues Verfahren namens Post‑Training Quantization (PTQ) zeigt, wie diese Hürden überwunden werden können.

Im Fokus steht die 4‑Bit‑Quantisierung, die mit der BitsAndBytes‑Bibliothek und dem Hugging‑Face‑Transformers‑Framework umgesetzt wird. Dabei wird das Meta‑Modell Llama 3.2 3B komprimiert, ohne dass die Kernfunktionen verloren gehen.

Nach der Quantisierung wird das Modell in das GGUF‑Format konvertiert – ein leichtgewichtiges Format, das speziell für mobile Inferenz optimiert ist. Durch die 4‑Bit‑Quantisierung reduziert sich die Modellgröße um 68,66 %. Das Ergebnis ist ein deutlich kleineres Modell, das dennoch zuverlässig inference‑Aufgaben ausführen kann.

Die praktische Machbarkeit wurde auf einem Android‑Gerät demonstriert. Mit der Termux‑Umgebung und dem Ollama‑Framework läuft das quantisierte GGUF‑Modell flüssig. Diese Kombination aus PTQ, 4‑Bit‑Precision und GGUF bietet einen realistischen Weg, leistungsfähige LLMs auf mobilen Geräten einzusetzen und dabei Größe und Performance optimal auszubalancieren.