Progressive Quantisierung verhindert vorzeitige Diskretisierung – neue Tokenisierungsmethode

Vector Quantization (VQ) ist heute das Rückgrat der Tokenisierung in vielen multimodalen Large Language Models und Diffusionsmodellen. Ein zentrales Problem besteht jedoch darin, dass die Diskretisierung zu früh erfolgt, bevor der Encoder die zugrunde liegende Datenstruktur erfasst – ein Phänomen, das als „Premature Discretization“ bezeichnet wird.

Um dieses Hindernis zu überwinden, stellt die neue Methode Progressive Quantization (ProVQ) vor, dass die Quantisierung als Lernkurve behandelt wird, die sanft von einem kontinuierlichen latenten Raum zu einem diskreten Raum übergeht. Durch diese graduelle Annäherung wird der Codebook-Ansatz gezielt an die gut ausgeprägten Datenmanifolden ausgerichtet.

Umfangreiche Experimente zeigen, dass ProVQ die Rekonstruktions- und Generierungsleistung auf den Benchmarks ImageNet‑1K und ImageNet‑100 deutlich verbessert. Darüber hinaus demonstriert die Methode ihre Wirksamkeit bei der Modellierung komplexer biologischer Sequenzen und setzt damit neue Maßstäbe für die Proteinstruktur‑Tokenisierung auf dem StrutTokenBench‑Leaderboard.

ProVQ erweitert somit die Anwendbarkeit von VQ erheblich und liefert robuste Tokenisierungslösungen für eine breite Palette von Modalitäten.