VJEPA: Probabilistische Predictive Architectures für selbstüberwachtes Lernen
Die neueste Veröffentlichung auf arXiv präsentiert VJEPA, eine probabilistische Weiterentwicklung der Joint Embedding Predictive Architectures (JEPA). Während klassische JEPA‑Modelle deterministische Regressionsziele nutzen und damit die probabilistische Natur von Zustandsvorhersagen vernachlässigen, lernt VJEPA eine komplette Verteilung über zukünftige latente Zustände mittels einer variationalen Zielfunktion. Dadurch wird das Modell in die Lage versetzt, Unsicherheit explizit zu quantifizieren und eignet sich besonders für stochastische Steuerungsaufgaben.
Ein zentrales theoretisches Ergebnis ist die Verbindung von VJEPA mit Predictive State Representations (PSRs) und Bayesscher Filterung. Die Autoren zeigen, dass sequenzielle Modellierung ohne autoregressive Beobachtungswahrscheinlichkeiten ausreicht und dass die erlernten Repräsentationen als ausreichende Informationszustände für optimale Kontrolle dienen können – ohne dass Pixelrekonstruktionen erforderlich sind. Zusätzlich wird ein formaler Beweis für die Vermeidung von Repräsentationskollaps geliefert.
Die Erweiterung BJEPA (Bayesian JEPA) factorisiert die Vorhersageglaube in einen lernenden Dynamikexperten und einen modularen Priorexperten. Durch die Kombination dieser beiden Komponenten mittels Product of Experts ermöglicht BJEPA einen Zero‑Shot-Task‑Transfer und die Einhaltung von Einschränkungen wie Zielvorgaben oder physikalische Gesetze. Diese modulare Struktur erleichtert zudem die Anpassung an neue Aufgaben ohne erneutes Training.
In einem Experiment mit einer stark verrauschten Umgebung demonstrieren die Autoren, dass VJEPA und BJEPA hochvariante Ablenkungen effektiv herausfiltern und somit Repräsentationskollaps vermeiden, der bei generativen Basismodellen häufig auftritt. Darüber hinaus ermöglichen die Modelle eine principielle Unsicherheitsabschätzung, etwa durch die Konstruktion von Konfidenzintervallen mittels Sampling. Diese Ergebnisse unterstreichen das Potenzial von VJEPA und BJEPA für robuste, selbstüberwachende Lernsysteme in komplexen, unsicheren Umgebungen.