Sign Lock-In: Gewichtszeichen bleiben stabil – neue Theorie

In der neuesten Studie zur Sub‑Bit‑Modellkompression wird gezeigt, dass die Signatur der Gewichte – also deren Vorzeichen – ein entscheidender Engpass ist, wenn man die Speichergröße unter ein Bit pro Gewicht senken will. Durch die aggressive Kompression der Beträge bleibt das Vorzeichen unverändert, was die Effizienz stark limitiert.

Die Forscher untersuchten Transformer‑, CNN‑ und MLP‑Netze und fanden heraus, dass die erlernten Vorzeichenmatrizen kaum durch eine niedrigrangige Approximation reduziert werden können. Sie wirken spektral wie ein zufälliges Rademacher‑Signal, das aus unabhängigen, gleichmäßig verteilten Vorzeichen besteht.

Obwohl die Vorzeichen zunächst zufällig erscheinen, behalten die meisten Gewichte ihr ursprüngliches Vorzeichen bei. Signum‑Wechsel treten nur selten auf, wenn ein Gewicht nahe der Null‑Grenze vorbeizieht. Diese Beobachtung legt nahe, dass die scheinbare Zufälligkeit weitgehend von der Initialisierung stammt.

Um dieses Phänomen zu erklären, entwickelt das Team die „Sign Lock‑In“-Theorie. Dabei wird die Anzahl der effektiven Vorzeichenwechsel als Stopp‑Zeit‑Analyse unter SGD‑Rauschen betrachtet. Bei begrenzten Updates und einer seltenen Rückkehr in ein kleines Null‑Umfeld folgt die Anzahl der Vorzeichenwechsel einer geometrischen Verteilung.

Auf Basis dieser Erkenntnisse stellen die Autoren eine Lücke‑basierte Initialisierung und einen leichten „Outward‑Drift“-Regularisierer vor. Diese Maßnahmen senken die effektive Flip‑Rate auf etwa 10⁻³, während die Modellleistung – gemessen an der Perplexität – nur um einen Punkt steigt.