MixQuant: Grenzen der Blockrotationen in der Post-Training-Quantisierung neu definiert
Die neueste Forschung im Bereich der Post-Training-Quantisierung (PTQ) hat gezeigt, dass Blockrotationen ein vielversprechendes Mittel sind, um Ausreißer vor dem Runden zu streuen. Doch bislang blieb unklar, wie stark die Blockstruktur die Ausreißerunterdrückung tatsächlich beeinflusst. Mit einer ersten systematischen, nicht asymptotischen Analyse der Block-Hadamard-Rotation haben die Autoren dieses Papiers die Grenzen des Effekts auf die Geometrie des Eingangsvektors gelegt.
