Neuer Quantisierer Quamba-SE verbessert Aktivierungsquantisierung in State‑Space‑Modellen

Die neueste Veröffentlichung auf arXiv (2601.09451v1) präsentiert Quamba-SE, einen Soft‑Edge‑Quantisierer, der die Aktivierungsquantisierung in State‑Space‑Modellen (SSM) revolutioniert.

Quamba-SE arbeitet ausschließlich mit Standard‑INT8‑Operationen, nutzt jedoch drei adaptive Skalierungsstufen: eine hochpräzise Skala für kleine Werte, eine Standard‑Skala für typische Werte und eine niedrigpräzise Skala für Ausreißer. Durch diese Strategie werden Ausreißerinformationen erhalten, anstatt sie hart zu clippen, während gleichzeitig die Genauigkeit für die übrigen Werte erhalten bleibt.

Die Autoren haben Quamba-SE auf dem Mamba‑130M‑Modell getestet und dabei sechs Zero‑Shot‑Benchmarks evaluiert. Die Ergebnisse zeigen, dass Quamba-SE die bisherige Variante Quamba konsequent übertrifft – bis zu +2,68 % auf einzelnen Benchmarks und eine durchschnittliche Genauigkeitssteigerung von +0,83 % über alle sechs Datensätze hinweg.

Diese Fortschritte deuten darauf hin, dass Soft‑Edge‑Quantisierung ein vielversprechender Ansatz ist, um die Leistungsfähigkeit von State‑Space‑Modellen weiter zu steigern, ohne die Rechenkomplexität zu erhöhen.