Zeitreihen, Vision & Sprache: Grenzen der Ausrichtung in kontrastiven Räumen

Eine neue Studie auf arXiv untersucht, ob Zeitreihen – also Daten, die sich über die Zeit verändern – in denselben latenten Strukturen wie Bilder und Texte zusammenfinden. Die Forscher haben drei unabhängige Encoder für Zeitreihen, Vision und Sprache trainiert und festgestellt, dass deren Repräsentationen ohne gezielte Kopplung nahezu orthogonal zueinander liegen.

Durch einen nachträglichen, kontrastiven Lernschritt, bei dem die Encoder eingefroren und nur Projektionsköpfe trainiert wurden, konnten die Modelle ihre Repräsentationen ausrichten. Größere Modelle erzielten dabei eine bessere Ausrichtung, jedoch nicht gleichmäßig: Zeitreihen passten sich stärker an visuelle Darstellungen an als an Text. Bilder fungierten dabei als effektive Vermittler zwischen Zeitreihen und Sprache.

Die Untersuchung zeigte zudem, dass reichhaltigere Textbeschreibungen die Ausrichtung nur bis zu einem gewissen Punkt verbessern. Dichte Beschriftungen führen nicht zu weiteren Fortschritten, und ähnliche Effekte wurden bei visuellen Repräsentationen beobachtet. Diese Erkenntnisse geben wichtige Hinweise für die Entwicklung multimodaler Systeme, die über die klassischen Kombinationen von Bild und Text hinausgehen.