CLOP: Neue semi-supervised Kontrastive Lernmethode verhindert dimensionalen Kollaps

Kontrastives Lernen hat sich als äußerst wirkungsvolle Technik im Deep Learning etabliert, indem es durch Gegenüberstellung von Proben aus unterschiedlichen Verteilungen robuste Repräsentationen erzeugt. Ein häufig auftretendes Problem ist der sogenannte dimensional collapse, bei dem die Embeddings in einen niedrigdimensionalen Raum zusammenfallen und dadurch die Modellleistung stark beeinträchtigt wird.

In der vorliegenden Arbeit wird ein kritischer Schwellenwert für die Lernrate identifiziert, ab dem herkömmliche kontrastive Verluste zu kollabierten Lösungen führen. Aufbauend auf dieser Erkenntnis wird CLOP – ein semi-supervised Verlustfunktion – vorgestellt, die gezielt orthogonale lineare Teilräume zwischen Klasseneinbettungen fördert und damit den dimensionalen Kollaps verhindert.

Umfangreiche Experimente an realen und synthetischen Datensätzen zeigen, dass CLOP die Leistung bei Bildklassifikations- und Objekterkennungsaufgaben steigert. Darüber hinaus demonstriert die Methode eine höhere Stabilität gegenüber unterschiedlichen Lernraten und Batchgrößen, was sie zu einer vielversprechenden Ergänzung für semi-supervised und selbstüberwachende Lernumgebungen macht.