OmniZip: schlanker, einheitlicher verlustfreier Kompressor für multimodale Daten

Die effiziente Speicherung und Übertragung von Daten ist in der heutigen datenintensiven Welt unverzichtbar. Während lernbasierte verlustfreie Kompressoren bereits beeindruckende Ergebnisse liefern, sind die meisten davon auf eine einzige Datenmodalität ausgelegt. Das führt zu mehrfachen, redundanten Kompressoren, wenn verschiedene Datenarten – wie Bilder, Texte, Sprache, taktile Signale, Datenbanken oder Gensequenzen – gleichzeitig verarbeitet werden müssen.

Um dieses Problem zu lösen, hat ein Forschungsteam den OmniZip vorgestellt: einen schlanken, einheitlichen Kompressor, der sämtliche multimodalen Daten ohne Qualitätsverlust komprimiert. Der Ansatz basiert auf einer leichtgewichtigen Architektur, die drei zentrale Komponenten integriert: einen tokenizer, der unterschiedliche Datenformate in reversible Token umwandelt; ein routing‑basiertes Kontext‑Lernsystem, das flexible, multimodale Kontextmodelle ermöglicht; und ein routing‑basiertes Feedforward‑Design, das die nichtlineare Repräsentationsfähigkeit weiter steigert.

Durch eine spezielle Reparameterisierung im Training wird die Modellkapazität erhöht, sodass OmniZip bei mehreren Testdatensätzen – darunter CLIC‑M, TouchandGo, enwik9, LibriSpeech und WikiSQL – die Kompressionseffizienz von gzip um bis zu 62 % übertrifft. Gleichzeitig bleibt die Laufzeit nahezu Echtzeitfähig, selbst auf ressourcenbeschränkten Edge‑Geräten, mit einer Durchsatzrate von etwa 1 MB/s auf einem Mac‑Computer.

OmniZip demonstriert damit, dass ein einheitlicher, leichtgewichtiger Ansatz für verlustfreie Kompression in multimodalen Umgebungen nicht nur machbar, sondern auch leistungsstark ist. Diese Entwicklung könnte die Art und Weise, wie Daten in verschiedensten Anwendungen gespeichert und übertragen werden, nachhaltig verändern.