InfoTok: Video-Tokenizer spart 20 % Tokens und steigert Kompression 2,3‑fach
Ein neues Verfahren namens InfoTok hat die Art und Weise, wie Videos in diskrete Token zerlegt werden, grundlegend verändert. Durch die Anwendung von Shannon’scher Informationstheorie kann InfoTok die Menge an Tokens, die für die Repräsentation eines Videos benötigt werden, intelligent an die Informationsdichte anpassen.
Traditionelle Tokenizer verarbeiten Videoinhalte mit einer festen Kompressionsrate. Diese Vorgehensweise führt häufig zu unnötiger Redundanz bei wenig informativen Segmenten oder zu Informationsverlust bei komplexen Szenen. InfoTok erkennt dieses Problem und liefert eine theoretisch fundierte Lösung.
Die Autoren zeigen, dass herkömmliche, datenunabhängige Trainingsmethoden suboptimal sind, wenn es um die Länge der Repräsentation geht. Darauf aufbauend entwickelt InfoTok einen neuen Algorithmus, der auf einem Evidence Lower Bound (ELBO) basiert und sich theoretisch optimalen Kompressionsraten annähert.
Im praktischen Einsatz wird ein transformerbasierter, adaptiver Kompressor eingesetzt, der die Tokenisierung dynamisch anpasst. Dadurch werden Tokens dort eingesetzt, wo sie am meisten Mehrwert bringen, und an Stellen mit geringer Informationsdichte reduziert.
Experimentelle Ergebnisse zeigen, dass InfoTok die Anzahl der benötigten Tokens um 20 % senkt und gleichzeitig die Kompressionsrate um das 2,3‑fache steigert – ohne die Leistung der Videoanalyse zu beeinträchtigen. Im Vergleich zu bisherigen heuristischen adaptiven Ansätzen übertrifft InfoTok die Performance deutlich.
Mit dieser Entwicklung eröffnet InfoTok neue Möglichkeiten für die effiziente Verarbeitung langer Videosequenzen. Durch die gezielte Allokation von Tokens auf Basis der Informationsrelevanz wird eine kompaktere, aber dennoch genaue Videorepräsentation ermöglicht, die wertvolle Erkenntnisse für zukünftige Forschungsarbeiten liefert.