Neural‑Netzwerk‑Gewichte in FP8/FP4 verlustfrei komprimiert – bis zu 83 % Speicherersparnis

Mit dem stetigen Wachstum von Deep‑Learning‑Modellen und der zunehmenden Verbreitung von KI‑Anwendungen wird die Reduzierung von Speicher- und Übertragungskosten immer wichtiger. Ein neues Verfahren, das die erfolgreiche ZipNN‑Methode auf niedrigpräzise Fließkommaformate wie FP8 und FP4 ausweitet, zeigt, dass sogar diese kompakten Formate noch erheblich komprimiert werden können.

Die Technik trennt die Exponenten‑ und Mantissen‑Komponenten der Gewichte und komprimiert sie separat mit Entropie‑Codierung. Durch die gezielte Behandlung der beiden Teile lässt sich die Datenmenge drastisch verringern, ohne die Genauigkeit der Modelle zu beeinträchtigen.

Die Evaluation des Ansatzes liefert beeindruckende Ergebnisse: Für BF16‑Gewichte werden bis zu 62 % Speicherersparnis erzielt, während FP8‑Gewichte sogar bis zu 83 % reduziert werden können. Darüber hinaus zeigt die Analyse von Key‑Value‑Cache‑Tensoren in großen Sprachmodellen, dass auch diese Speicherbereiche komprimierbar sind, was zusätzliche Einsparungen bei der Laufzeitbereitstellung ermöglicht.

Dieses Verfahren eröffnet neue Möglichkeiten, KI‑Modelle effizienter zu speichern und zu übertragen, und unterstützt damit die Skalierung von KI‑Lösungen in ressourcenbeschränkten Umgebungen.