Wie Zeitreihen-Foundation-Modelle ihre internen Konzepte darstellen

Die neu aufkommenden Zeitreihen-Foundation-Modelle (TSFMs) gelten als universelles Paradigma für das Lernen in vielfältigen zeitlichen Domänen. Trotz ihrer beeindruckenden praktischen Erfolge bleibt jedoch unklar, wie diese Modelle grundlegende Zeitreihenkonzepte intern repräsentieren.

In der vorliegenden Studie wurden vier zentrale Fragen systematisch untersucht: Welche Schichten kodieren welche Konzepte? Sind die Konzeptparameter linear wiederherstellbar? Wie entwickeln sich die Repräsentationen hinsichtlich Konzeptentanglement und Abstraktion mit zunehmender Tiefe? Und wie verarbeiten die Modelle Zusammensetzungen von Konzepten?

Die Analyse erfolgte mittels schichtweiser Untersuchungen, linearen Wiederherstellungstests und Ähnlichkeitsmaßen für Repräsentationen. Diese methodische Kombination liefert einen strukturierten Überblick über die Semantik von TSFMs.

Die Ergebnisse zeigen, dass die frühen Schichten vor allem lokale, zeitdomänenbezogene Muster wie AR(1)-Verhalten, Niveauverschiebungen und Trends erfassen. Tiefer liegende Schichten hingegen kodieren Dispersionen und Zeitpunkte von Änderungen, während spektrale und Warping-Faktoren die schwierigsten zu linear wiederherstellen sind. In Zusammensetzungen verschlechtern sich die Probeleistungen deutlich, was auf Interferenzen zwischen Konzepten hinweist.

Damit wird deutlich, dass atomare Konzepte zuverlässig lokalisiert werden können, die Zusammensetzung jedoch weiterhin eine Herausforderung darstellt. Diese Erkenntnis unterstreicht eine wesentliche Einschränkung aktueller TSFMs bei der Darstellung von interagierenden zeitlichen Phänomenen.