Dual Length Codes: Schnellere, kompaktere Kompression von BFloat16 für LLMs

In der Welt der großen Sprachmodelle (LLMs) ist die Parallelisierung von Trainings- und Inferenzprozessen entscheidend, doch häufig wird sie durch die begrenzte Netzwerkbandbreite gebremst. Eine Möglichkeit, dieses Flaschenhalsproblem zu mildern, ist die verlustfreie Kompression der Daten, die zwischen den Knoten ausgetauscht werden.

Traditionelle Verfahren wie Huffman-Codes bieten zwar gute Kompressionsraten, sind jedoch bei der Entschlüsselung langsam und erfordern komplexe Hardware, weil sie tief verschachtelte Bäume traversieren müssen. Universelle Codes wie Exponential‑Golomb sind schneller zu dekodieren, nutzen jedoch die Häufigkeitsverteilung der Symbole nicht optimal aus, was die Kompressionseffizienz mindert.

Die neue Methode, Dual Length Codes, kombiniert die Vorteile beider Ansätze. Bei der Analyse von BFloat16‑Tensoren des Gemma-Modells zeigte sich, dass die acht häufigsten Symbole etwa 50 % der Gesamtwahrscheinlichkeit ausmachen. Diese Symbole erhalten einen kurzen 4‑Bit‑Code, während die restlichen 248 Symbole einen längeren 9‑Bit‑Code tragen. Ein einzelnes Präfix‑Bit unterscheidet die beiden Code‑Längen, und ein kleines Lookup‑Table mit nur acht Einträgen reicht für Encoding und Decoding. Dadurch erreicht die Technik eine Kompressionsrate von 18,6 % – etwas weniger als die 21,3 % von Huffman –, aber die Entschlüsselung wird deutlich beschleunigt und die Hardwarekomplexität reduziert.

Diese Fortschritte bedeuten, dass LLM‑Systeme schneller und effizienter arbeiten können, ohne dabei an Genauigkeit zu verlieren. Die Dual Length Codes stellen einen wichtigen Schritt dar, um die Skalierbarkeit und Leistungsfähigkeit von KI‑Anwendungen weiter zu erhöhen.