Neues SSL-Verfahren nutzt Krümmungsanpassung für bessere Feature-Lernen
In der Welt des selbstüberwachten Lernens (Self‑Supervised Learning, SSL) hat sich kürzlich ein innovatives Konzept etabliert, das die lokale Geometrie von Datenmengen gezielt in den Fokus rückt. Das Verfahren, genannt CurvSSL, ergänzt die üblichen Invarianz‑ und Redundanz‑Reduktionsziele um einen Krümmungs‑Regularisierer, der die Form des Datenmanifolds berücksichtigt.
CurvSSL arbeitet mit der bewährten Zwei‑Ansicht‑Encoder‑Projektor‑Architektur und nutzt einen Barlow‑Twins‑ähnlichen Verlust, um die Projektionen zu entkoppeln. Zusätzlich wird jede Einbettung als Scheitelpunkt eines Graphen behandelt, dessen k‑nächste Nachbarn die lokale Krümmung bestimmen. Diese Krümmungswerte werden über die Augmentierungen hinweg ausgerichtet und entkoppelt, wodurch sowohl die Invarianz der Ansichten als auch die Konsistenz der lokalen Krümmung gefördert werden.
Eine Erweiterung in reproduzierenden Hilfsräumen (RKHS) – kernel CurvSSL – berechnet die Krümmung aus einer normalisierten lokalen Gram‑Matrix. Auf den Datensätzen MNIST und CIFAR‑10 mit einem ResNet‑18‑Backbone zeigte die Krümmungs‑regularisierte Variante eine lineare Evaluierungsleistung, die mit Barlow Twins und VICReg konkurriert oder diese sogar übertrifft. Die Ergebnisse verdeutlichen, dass die gezielte Formung der lokalen Geometrie ein effektiver und unkomplizierter Zusatz zu rein statistischen SSL‑Regularisatoren ist.