BiJEPA: Bi-direktionale Architektur verbessert selbstüberwachtes Lernen

In der Welt des selbstüberwachten Lernens hat sich der Fokus von pixelbasierten Rekonstruktionen auf die Vorhersage im latenten Raum verlagert. Dabei steht die Joint Embedding Predictive Architecture (JEPA) im Mittelpunkt, die bislang vor allem auf einseitige Vorhersagen (z. B. Kontext → Ziel) setzt. Diese Einseitigkeit kann jedoch wertvolle Informationen aus der umgekehrten Beziehung vernachlässigen und die Leistung der Modelle beeinträchtigen.

Um dieses Problem zu lösen, stellt das neue BiJEPA – die Bi‑Directionale Joint Embedding Predictive Architecture – einen zirkulären Vorhersagemechanismus vor, bei dem Datensegmente sowohl vorwärts als auch rückwärts vorhergesagt werden. Durch die erzwingte Zyklus‑Konsistenz wird die Modellstabilität erhöht und die Lernfähigkeit verbessert. Ein zentrales Hindernis bei symmetrischen Vorhersagen ist die sogenannte „Repräsentationsexplosion“, die zu Instabilität führt. BiJEPA begegnet diesem Problem mit einer normbasierten Regularisierung, die die Repräsentationsvektoren in einem sinnvollen Bereich hält.

Die Wirksamkeit von BiJEPA wurde an drei unterschiedlichen Datensätzen getestet: synthetischen periodischen Signalen, chaotischen Lorenz‑Trajektorien und hochdimensionalen Bilddaten (MNIST). In allen Fällen zeigte BiJEPA stabile Konvergenz ohne Kollaps, konnte die semantische Struktur chaotischer Systeme erfassen und lernte robuste zeit- und raumbezogene Repräsentationen. Diese Eigenschaften ermöglichen nicht nur die Generierung neuer Daten, sondern auch eine verbesserte Generalisierung auf unbekannte Aufgaben – ein bedeutender Fortschritt im Bereich der selbstüberwachten Repräsentationslernen.