QMC: Effiziente Edge-Inference für kleine Sprachmodelle mit Outlier‑Quantisierung

Die Ausführung kleiner Sprachmodelle (SLMs) auf Edge‑Geräten ist für Echtzeit‑KI und Datenschutz entscheidend, stößt jedoch an Grenzen bei Speicher, Latenz und Energieverbrauch. Klassische Quantisierung verkleinert Modelle, leidet aber unter Geräusch‑Einflüssen in neuartigen nichtflüchtigen Speichern.

Der aktuelle Speicher‑Stack – SRAM für schnellen Zugriff, DRAM für statische Gewichte und dynamische KV‑Caches sowie Flash für Initialisierung – verursacht Engpässe. SRAM bietet geringe Dichte, DRAM führt zu Bandbreitenkonkurrenz, während Flash während der Inferenz kaum genutzt wird. Diese Einschränkungen fordern eine maßgeschneiderte, hybride Speicherarchitektur.

QMC (Outlier‑aware Quantization with Memory Co‑design) löst das Problem ohne Retraining. Es trennt Gewichte in „Inlier“ und „Outlier“, speichert die Inlier in kompakter, mehrstufiger ReRAM‑Struktur und bewahrt die kritischen Outlier in hochpräziser, on‑chip MRAM. Dadurch wird die Geräusch‑Einwirkung reduziert und die Modellleistung erhalten.

Auf Sprachmodellierungs‑ und Reasoning‑Benchmarks übertrifft QMC aktuelle Quantisierungsmethoden. In realen Edge‑Umgebungen reduziert es den Speicherbedarf um 6,3‑7,3‑fach, die externen Datenübertragungen um 7,6‑fach und den Energieverbrauch um 11,7‑fach, während es gleichzeitig die Modellkompression verbessert.