ScaleBITS: Bitbreitenanpassung für effiziente, hardwarefreundliche LLMs

ScaleBITS ist ein neues Quantifizierungsframework, das die Nachtrainingsgewichtsanpassung von großen Sprachmodellen (LLMs) optimiert. Ziel ist es, Speicher- und Rechenkosten drastisch zu senken, indem die durchschnittliche Präzision unter vier Bits gehalten wird – ein Bereich, der bisher wegen der stark ungleichmäßigen Gewichtsempfindlichkeit und fehlender systematischer Präzisionszuweisung schwer zu erreichen war.

Das System nutzt eine neue Sensitivitätsanalyse, um Gewichte in hardwarefreundliche, blockweise Partitionen zu zerlegen und dabei bi‑directionale Kanalreihenfolgen einzusetzen. Die globale Bitbreitenverteilung wird als konstraint optimiertes Problem formuliert, das mit einer skalierbaren Approximation des Greedy‑Algorithmus gelöst wird. Dadurch kann ScaleBITS die Bitbreite automatisch und fein granular anpassen, ohne die Laufzeit zu erhöhen.

Experimentelle Ergebnisse zeigen, dass ScaleBITS die Leistung gegenüber einheitlicher Quantisierung um bis zu 36 % steigert und state‑of‑the‑art sensitivitätsbasierte Ansätze um bis zu 13 % übertrifft – alles im ultra‑niedrig‑Bit‑Modus und ohne zusätzlichen Laufzeitaufwand.