QuantVLA: Post-Training Quantisierung für Vision‑Language‑Action‑Modelle

QuantVLA ist ein neu entwickeltes, trainingsfreies Post‑Training‑Quantisierungsframework, das speziell für Vision‑Language‑Action‑Modelle (VLA) konzipiert wurde. Durch die Reduktion von Rechen- und Speicherbedarf ermöglicht es die praktische Nutzung dieser komplexen Systeme, auch bei längeren Zeithorizonten und größeren Backbones.

Das Verfahren nutzt drei innovative, skalierungsbasierte Komponenten. Erstens wird ein selektiver Quantisierungs‑Layout eingesetzt, das sämtliche linearen Schichten im Sprach‑Backbone sowie im Diffusion‑Transformer‑Action‑Head in Ganzzahlen umwandelt, während die Attention‑Projektionen im Float‑Format bleiben, um die ursprüngliche Operator‑Reihenfolge zu erhalten. Zweitens sorgt die Attention‑Temperature‑Matching‑Methode für eine leichte, pro‑Head‑skalierte Anpassung der Attention‑Logits, die anschließend in die Dequantisierungs‑Skalen integriert wird. Drittens balanciert die Output‑Head‑Balancing‑Strategie die Residual‑Schnittstellen pro Layer, um Energie‑Drift nach der Projektion zu minimieren.

QuantVLA erfordert keine zusätzliche Trainingsphase und arbeitet lediglich mit einem kleinen, unlabelierten Kalibrierungs‑Puffer. Die Integer‑Kerne unterstützen niedrige Bit‑Gewichte und -Aktivierungen, während die Architektur unverändert bleibt. In Tests auf dem LIBERO‑Datensatz übertrifft QuantVLA die Erfolgsraten der Vollpräzisions‑Baselines, spart rund 70 % des Speicherbedarfs der quantisierten Komponenten und beschleunigt die End‑zu‑End‑Inference um 1,22‑fach.

Durch die Kombination von Effizienz, Einfachheit und hoher Leistung bietet QuantVLA einen vielversprechenden Ansatz, um VLA‑Modelle in ressourcenbeschränkten Umgebungen einzusetzen und damit die Verbreitung von embodied‑Agenten in der Praxis voranzutreiben.