RaBiT: Residual-Aware Binarization Training für präzise und effiziente LLMs

Die effiziente Nutzung großer Sprachmodelle erfordert eine extreme Quantisierung, die oft einen harten Kompromiss zwischen Bit‑Effizienz und Leistung bedeutet. Residual‑Binarisierung, bei der binäre (±1) Schichten gestapelt werden, bietet hardwarefreundliche, matmul‑freie Inferenz, leidet jedoch unter einer kritischen Fehlfunktion – der sogenannten Inter‑Path‑Adaptation. Dabei lernen parallele binäre Pfade redundante Merkmale, was die Fehler‑Kompensationsstruktur schwächt und die Ausdruckskraft des Modells einschränkt.

RaBiT, ein neues Quantisierungsframework, löst dieses Problem, indem es eine algorithmisch erzielte Residual‑Hierarchie einführt. Jeder binäre Pfad wird sequentiell aus einem einzigen, gemeinsam genutzten Vollpräzisionsgewicht abgeleitet, sodass jeder Pfad den Fehler des vorherigen korrigiert. Diese Vorgehensweise wird durch eine robuste Initialisierung unterstützt, die die funktionale Erhaltung über reine Gewichtsnäherung stellt.

Durch diese Innovation erreicht RaBiT die neue Grenze der 2‑Bit‑Genauigkeit und Effizienz: Es liefert einen Stand‑der‑Kunst‑Leistungswert, konkurriert mit hardwareintensiven Vector‑Quantisierungsmethoden und beschleunigt die Inferenz um 4,49‑mal gegenüber Vollpräzisionsmodellen – gemessen auf einer RTX 4090. Diese Fortschritte markieren einen bedeutenden Schritt in Richtung schnellerer, ressourcenschonender KI‑Anwendungen.