Neue Methode steigert Energiegewinn bei Sub-1-Bit-LLMs durch latente Geometrie

Forscher haben einen bahnbrechenden Ansatz entwickelt, um den Spektralen Energiegewinn in extrem komprimierten Sprachmodellen zu maximieren. Durch die gezielte Ausrichtung der latenten Geometrie können binäre Low‑Rank‑Approximationen nun die Leistung von fließkomma‑basierten Baselines übertreffen.

Bei sehr hoher Kompression, bei der Modelle auf ein Bruchteil eines Bits pro Parameter reduziert werden, zeigte sich, dass binäre Darstellungen oft bessere Ergebnisse liefern als ihre fließkomma‑Gegenstücke. Dennoch konnten bisherige Methoden dieses Potenzial nicht vollständig nutzen und blieben hinter dem aktuellen Stand der Technik.

Die Ursache liegt in einer „Latenten Geometrie‑Misalignment“: Standard‑Singularvektoren weisen eine hohe Kohärenz auf, was für binäre Quantisierung die schlechteste Geometrie darstellt. Diese spikige Verteilung verhindert, dass die latenten Features optimal mit dem binären Hyperwürfel übereinstimmen.

Um dieses Problem zu lösen, präsentiert das neue Framework LittleBit‑2. Es kombiniert eine interne latente Rotation mit einer Joint Iterative Quantization (Joint‑ITQ), die als geometrischer Präconditioner fungiert. Dadurch werden kohärente latente Verteilungen mit dem binären Hyperwürfel ausgerichtet, ohne zusätzlichen Inferenzaufwand.

Experimentelle Ergebnisse zeigen, dass LittleBit‑2 im Sub‑1‑Bit‑Bereich (1 ~ 0,1 Bits pro Parameter) einen neuen Maßstab setzt. Auf den Modellen Llama‑2 und Llama‑3 erreicht es die gleiche Genauigkeit wie führende 1‑Bit‑Baselines, während es gleichzeitig die Effizienz weiter steigert.