Neue Methode komprimiert große Sprachmodelle mit niedriger Bitzahl

Ein neues Verfahren namens Grouped Lattice Vector Quantization (GLVQ) verspricht, die Speicher- und Rechenanforderungen großer Sprachmodelle drastisch zu senken, ohne die Genauigkeit zu stark zu beeinträchtigen. Durch die Zuordnung von gewichtsspezifischen Lattice-Codebüchern zu Gruppen von Modellgewichten kann GLVQ die Quantisierung auf eine Weise optimieren, die herkömmliche, einheitliche Verfahren übertrifft.

Die Technik nutzt eine lernbare Generationsmatrix, um jedem Gewichtspaket ein individuelles Lattice-Codebuch zuzuweisen. Um die nicht differenzierbare Natur der Quantisierung zu umgehen, wird während des Trainings die Babai-Rundung eingesetzt, die eine stabile Approximation des nächsten Lattice-Punktes ermöglicht. Nach dem Training reduziert sich das Decodieren auf eine einfache Matrix-Vektor-Multiplikation, was die Implementierung besonders effizient macht.

In umfangreichen Benchmarks zeigte GLVQ ein deutlich besseres Gleichgewicht zwischen Modellgröße und Genauigkeit als bestehende Post‑Training‑Quantisierungsmethoden. Das Ergebnis ist ein praktikabler Ansatz, um leistungsstarke Sprachmodelle auch unter strengen Ressourcenbeschränkungen einzusetzen. Der Quellcode ist öffentlich auf GitHub verfügbar: https://github.com/xzhang9308/GLVQ.