Kontrastives Lernen verbessert semi-supervised Deep Regression

Ein neues Verfahren aus der Forschung auf arXiv erweitert die Möglichkeiten des kontrastiven Lernens für Regressionsmodelle, indem es unlabeled Daten in einem semi-supervised Setting nutzt. Durch die Konstruktion einer Feature‑Ähnlichkeitsmatrix, die sowohl gelabelte als auch ungelabelte Stichproben enthält, werden die Beziehungen zwischen den Datenpunkten besser erfasst.

Die Autoren nutzen Spectral Seriation, um aus dieser Matrix eine genaue ordinale Rangliste der ungelabelten Proben zu extrahieren – vorausgesetzt, die Fehlerquote liegt innerhalb bestimmter Grenzen. Gelabelte Daten dienen dabei als Regularisierung, sodass die Rangliste durch echte Label‑Informationen verfeinert wird und dadurch zuverlässiger wird.

Um die Stabilität der Merkmale zu erhöhen, wendet das Team ein dynamisches Programmierungsverfahren an, das robuste Features für die Matrixauswahl identifiziert. Die daraus gewonnene Rangfolge wird anschließend im kontrastiven Lernprozess für die ungelabelten Daten eingesetzt, wodurch die Feature‑Repräsentation weiter verbessert wird.

Das Verfahren liefert nicht nur robustere Regressionsvorhersagen, sondern kann die Ranglisten auch als zusätzliche Trainingssignale für ungelabelte Proben verwenden. Theoretische Beweise und umfangreiche Experimente belegen die Wirksamkeit des Ansatzes und zeigen, dass die Integration von unlabeled Daten die Leistung signifikant steigert.