UniQL: Quantisierung & Low‑Rank‑Kompression für Edge‑LLMs

Das Betreiben großer Sprachmodelle auf mobilen Geräten ist wegen begrenzter Speicher‑ und Rechenressourcen besonders schwierig. Die verfügbare Kapazität hängt zudem von der aktuellen Auslastung des Geräts ab, was die Zuverlässigkeit von Deployments stark beeinträchtigt.

Mit UniQL wird ein einheitliches Framework vorgestellt, das Post‑Training‑Quantisierung und Low‑Rank‑Kompression kombiniert und auf dem Gerät einstellbare Pruning‑Raten bis zu 35 % ermöglicht. Die Lösung unterstützt Transformer‑Modelle, State‑Space‑Modelle (SSMs) sowie hybride Architekturen, sodass sie für verschiedenste Edge‑Anwendungen einsetzbar ist.

UniQL nutzt mehrere innovative Techniken: eine strukturierte Gewichtsortierung, die die Berechnungen um das 20‑fache beschleunigt; eine quantisierungs‑bewusste Singulärwertzerlegung (SVD), die Quantisierungsfehler minimiert; eine zustands‑sensitiv sortierte Gewichtung für SSMs und einen fusionierten Rotary‑Position‑Embedding‑Kernel (RoPE) für geschnittene Modelle.

In den Experimenten konnten quantisierte und geschnittene Modelle eine Speicher‑Reduktion von 4 × bis 5,7 × sowie eine Token‑Durchsatz‑Steigerung von 2,7 × bis 3,4 × erreichen, während die Genauigkeit bei 15 % Pruning innerhalb von 5 % des Originals blieb. Diese Ergebnisse gelten für Llama3, Qwen2.5, Mamba2, Nemotron‑H und Bamba‑v2. Der Code sowie die quantisierten Modelle sind unter https://github.com/enyac-group/UniQL verfügbar.