JEPAs entschlüsseln dynamische Muster: Koopman‑Invarianten als Schlüssel

Forscher haben ein neues Geheimnis der Joint‑Embedding Predictive Architectures (JEPAs) gelüftet: Diese selbstüberwachten Modelle gruppieren Zeitreihen automatisch nach ihren zugrunde liegenden Dynamikregimen. Die Erklärung liegt in der impliziten Lernstrategie der JEPAs, die die invarianten Teilräume des Koopman‑Operators erfasst.

Durch eine theoretische Analyse wurde gezeigt, dass ein idealisiertes JEPA‑Verlustfunktion genau dann minimiert wird, wenn der Encoder die Regime‑Indikatorfunktionen – also die Eigenfunktionen des Koopman‑Operators – repräsentiert. Diese Erkenntnis wurde in synthetischen Datensätzen mit bekannten Dynamiken experimentell bestätigt.

Der Schlüssel zum Erfolg ist eine gezielte Einschränkung des linearen Prädiktors auf einen fast Identitätsoperator. Diese Beschränkung zwingt den Encoder, die gewünschten Invarianten zu lernen und verhindert, dass das Modell in mathematisch äquivalente, aber schwer interpretierbare Optima abrutscht. Damit wird die Entwirrung der Repräsentationen deutlich.

Die Arbeit klärt ein bislang mysteriöses Verhalten von JEPAs, verbindet moderne selbstüberwachte Lernmethoden mit der Theorie dynamischer Systeme und liefert wertvolle Leitlinien für die Entwicklung robuster und interpretierbarer Zeitreihenmodelle.