Neues Lernframework steigert Leistung selbstüberwachter Kontrastive Lernmethoden

Selbstüberwachtes kontrastives Lernen (SSCL) hat in den letzten Jahren die Leistung bei vielen Downstream‑Aufgaben deutlich verbessert. In einer neuen Veröffentlichung wird jedoch ein umfassendes Lernframework vorstellt, das die bisherigen Ansätze BYOL, Barlow Twins und SwAV einheitlich behandelt.

Das Generalisierte Lernframework (GLF) besteht aus zwei Kernkomponenten: einem Aligning‑Teil, der die Merkmale aneinander angleicht, und einem Constraining‑Teil, der die Struktur des Merkmalsraums bestimmt. Durch verschiedene Ausprägungen des Constraining‑Teils lassen sich die drei bekannten SSCL‑Methoden unter einem Dach zusammenfassen.

Ein zentrales Problem bei SSCL ist die fehlende Beschriftung, die es schwer macht, Klassenspezifische Eigenschaften wie intra‑klassische Kompaktheit und inter‑klassische Trennbarkeit zu sichern. Die Autoren identifizieren diese beiden Eigenschaften als wichtige Leitprinzipien für die Gestaltung des Constraining‑Teils.

Zur Umsetzung dieser Prinzipien wird die plug‑and‑play‑Methode Adaptive Distribution Calibration (ADC) eingeführt. ADC erfasst iterativ die dynamische Beziehung zwischen einem Anker‑Sample und anderen Proben und sorgt dafür, dass Punkte, die im Eingaberaum nahe oder weit liegen, im Merkmalsraum ebenfalls entsprechend nah oder weit bleiben. Dadurch wird die gewünschte Kompaktheit und Trennbarkeit effektiv erreicht.

Sowohl die theoretische Analyse als auch umfangreiche Experimente zeigen, dass ADC die Leistung der untersuchten Modelle deutlich verbessert und damit einen wichtigen Schritt zur Optimierung von selbstüberwachtem kontrastivem Lernen darstellt.